быть на одном уровне

поднятие национальных флагов
Компонент церемонии награждения. Флаг делегации победителя поднимается на центральном флагштоке, а флаги делегаций, спортсмены которых заняли второе и третье места, поднимаются на рядом стоящих флагштоках, установленных справа и слева от центрального флагштока на одном уровне по отношению друг к другу и немного ниже центрального флагштока, лицом к арене. Все флаги должны быть одинакового размера, обычно три на пять футов. Ориентация флагов должна быть горизонтальной. К началу каждых Олимпийских игр должны изготавливаться новые национальные флаги, поскольку в период между Играми в некоторые из них могут быть внесены изменения.
[Департамент лингвистических услуг Оргкомитета «Сочи 2014». Глоссарий терминов]

EN

raising of the national flags
Part of the victory ceremony. The flag of the winner’s delegation shall be hoisted up the central flagpole, and those of the second and third-placed competitors up adjoining flagpoles to the right and left of the central flagpole at equal height, slightly lower than the central, champion’s flag, looking towards the arena. All flags should be of uniform size, usually three feet by five feet, with horizontal orientation. New flags should be made for each Games, as changes to nations’ flags are common between Games.
[Департамент лингвистических услуг Оргкомитета «Сочи 2014». Глоссарий терминов]

Тематики

• спорт (церемонии и культурные программы)

EN

• raising of the national flags

женщины пользуются правом избирать и быть избранными наравне с мужчинами – сылгоймæгтæн бар ис æвзарын æмæ æвзæрст цæуын нæлгоймæгтимæ æмхуызон

система охлаждения ЦОДа
-
[Интент]т

Система охлаждения для небольшого ЦОДа

Александр Барсков

Вы­мыш­лен­ная ком­па­ния (далее За­каз­чик) по­про­си­ла пред­ло­жить си­сте­му охла­жде­ния для стро­я­ще­го­ся ком­мер­че­ско­го ЦОДа. В ос­нов­ном зале пла­ни­ру­ет­ся установить:

• 60 стоек с энер­го­по­треб­ле­ни­ем по 5 кВт (всего 300 кВт) — все эле­мен­ты, необ­хо­ди­мые для обес­пе­че­ния тре­бу­е­мой тем­пе­ра­ту­ры и влаж­но­сти, долж­ны быть уста­нов­ле­ны сразу;
• 16 стоек с энер­го­по­треб­ле­ни­ем по 20 кВт (всего 320 кВт) — это обо­ру­до­ва­ние будет уста­нав­ли­вать­ся по­сте­пен­но (по мере необ­хо­ди­мо­сти), и сред­ства охла­жде­ния пла­ни­ру­ет­ся раз­вер­ты­вать и за­дей­ство­вать по мере под­клю­че­ния и за­груз­ки стоек.

За­каз­чик за­явил, что пред­по­чте­ние будет от­да­но энер­го­эф­фек­тив­ным ре­ше­ни­ям, по­это­му же­ла­тель­но за­дей­ство­вать «зе­ле­ные» тех­но­ло­гии, в первую оче­редь фри­ку­линг (есте­ствен­ное охла­жде­ние на­руж­ным воз­ду­хом — free cooling), и предо­ста­вить рас­чет оку­па­е­мо­сти со­от­вет­ству­ю­щей опции (с уче­том того, что объ­ект на­хо­дит­ся в Мос­ков­ской об­ла­сти). Пла­ни­ру­е­мый уро­вень ре­зер­ви­ро­ва­ния — N+1, но воз­мож­ны и дру­гие ва­ри­ан­ты — при на­ли­чии долж­но­го обос­но­ва­ния. Кроме того, За­каз­чик по­про­сил из­на­чаль­но преду­смот­реть сред­ства мо­ни­то­рин­га энер­го­по­треб­ле­ния с целью оп­ти­ми­за­ции рас­хо­да электроэнергии.

ЧТО ПРО­ГЛЯ­ДЕЛ ЗАКАЗЧИК

В сфор­му­ли­ро­ван­ной в столь общем виде за­да­че не учтен ряд су­ще­ствен­ных де­та­лей, на ко­то­рые не пре­ми­ну­ли ука­зать экс­пер­ты. Так, Дмит­рий Ча­га­ров, ру­ко­во­ди­тель на­прав­ле­ния вен­ти­ля­ции и кон­ди­ци­о­ни­ро­ва­ния ком­па­нии «Ути­лекс», за­ме­тил, что в за­да­нии ни­че­го не ска­за­но о ха­рак­те­ре на­груз­ки. Он, как и осталь­ные про­ек­ти­ров­щи­ки, ис­хо­дил из пред­по­ло­же­ния, что воз­душ­ный поток на­прав­лен с фрон­таль­ной части стоек назад, но, как из­вест­но, неко­то­рые ком­му­та­то­ры спро­ек­ти­ро­ва­ны для охла­жде­ния сбоку — для них при­дет­ся ис­поль­зо­вать спе­ци­аль­ные бо­ко­вые блоки рас­пре­де­ле­ния воз­душ­но­го потока.

В за­да­нии ска­за­но о раз­ме­ще­нии всех стоек (5 и 20 кВт) в ос­нов­ном зале, од­на­ко неко­то­рые экс­пер­ты на­сто­я­тель­но ре­ко­мен­ду­ют вы­де­лить от­дель­ную зону для вы­со­ко­на­гру­жен­ных стоек. По сло­вам Алек­сандра Мар­ты­ню­ка, ге­не­раль­но­го ди­рек­то­ра кон­сал­тин­го­вой ком­па­нии «Ди Си квад­рат», «это будет пра­виль­нее и с точки зре­ния про­ек­ти­ро­ва­ния, и с по­зи­ций удоб­ства экс­плу­а­та­ции». Такое вы­де­ле­ние (изо­ля­ция осу­ществ­ля­ет­ся при по­мо­щи вы­го­ро­док) преду­смот­ре­но, на­при­мер, в про­ек­те ком­па­нии «Ком­плит»: Вла­ди­слав Яко­вен­ко, на­чаль­ник от­де­ла ин­фра­струк­тур­ных про­ек­тов, уве­рен, что по­доб­ное ре­ше­ние, во-пер­вых, об­лег­чит об­слу­жи­ва­ние обо­ру­до­ва­ния, а во-вто­рых, поз­во­лит ис­поль­зо­вать раз­лич­ные тех­но­ло­гии хо­ло­до­снаб­же­ния в раз­ных зонах. Впро­чем, боль­шин­ство про­ек­ти­ров­щи­ков не ис­пы­та­ли осо­бых про­блем при ре­ше­нии за­да­чи по от­во­ду тепла от стоек 5 и 20 кВт, уста­нов­лен­ных в одном помещении.

Один из пер­вых во­про­сов, с ко­то­рым За­каз­чик об­ра­тил­ся к бу­ду­ще­му парт­не­ру, был свя­зан с фаль­шпо­лом: «Необ­хо­дим ли он во­об­ще, и если нужен, то какой вы­со­ты?». Алек­сандр Мар­ты­нюк ука­зал, что гра­мот­ный рас­чет вы­со­ты фаль­шпо­ла воз­мо­жен толь­ко при усло­вии предо­став­ле­ния до­пол­ни­тель­ной ин­фор­ма­ции: о типе стоек (как в них будет ор­га­ни­зо­ва­на по­да­ча охла­жда­ю­ще­го воз­ду­ха?); об ор­га­ни­за­ции ка­бель­ной про­вод­ки (под полом или по­тол­ком? сколь­ко ка­бе­лей? ка­ко­го диа­мет­ра?); об осо­бен­но­стях по­ме­ще­ния (вы­со­та по­тол­ков, со­от­но­ше­ние длин стен, на­ли­чие вы­сту­пов и опор­ных ко­лонн) и т. д. Он со­ве­ту­ет вы­пол­нить тем­пе­ра­тур­но-кли­ма­ти­че­ское мо­де­ли­ро­ва­ние по­ме­ще­ния с уче­том вы­ше­пе­ре­чис­лен­ных па­ра­мет­ров и, если по­тре­бу­ет­ся, уточ­ня­ю­щих дан­ных. В ре­зуль­та­те можно будет под­го­то­вить ре­ко­мен­да­ции в от­но­ше­нии оп­ти­маль­ной вы­со­ты фаль­шпо­ла, а также дать оцен­ку це­ле­со­об­раз­но­сти раз­ме­ще­ния в одном зале стоек с раз­ной энергонагруженностью.

Что ж, мы дей­стви­тель­но не предо­ста­ви­ли всей ин­фор­ма­ции, необ­хо­ди­мой для по­доб­но­го мо­де­ли­ро­ва­ния, и про­ек­ти­ров­щи­кам при­ш­лось до­воль­ство­вать­ся скуд­ны­ми ис­ход­ны­ми дан­ны­ми. И все же, на­де­ем­ся, пред­став­лен­ные ре­ше­ния ока­жут­ся ин­те­рес­ны­ми и по­лез­ны­ми ши­ро­ко­му кругу за­каз­чи­ков. Им оста­нет­ся толь­ко «по­до­гнать» ре­ше­ния «под себя».

«КЛАС­СИ­КА» ОХЛАЖДЕНИЯ

Для сня­тия тепла со стоек при на­груз­ке 5 кВт боль­шин­ство про­ек­ти­ров­щи­ков пред­ло­жи­ли самый рас­про­стра­нен­ный на се­год­ня ва­ри­ант — уста­нов­ку шкаф­ных пре­ци­зи­он­ных кон­ди­ци­о­не­ров, по­да­ю­щих хо­лод­ный воз­дух в про­стран­ство под фаль­шпо­лом. Под­вод воз­ду­ха к обо­ру­до­ва­нию осу­ществ­ля­ет­ся в зоне хо­лод­ных ко­ри­до­ров через пер­фо­ри­ро­ван­ные плиты или воз­ду­хо­рас­пре­де­ли­тель­ные ре­шет­ки фаль­шпо­ла, а отвод воз­ду­ха от кон­ди­ци­о­не­ров — из зоны го­ря­чих ко­ри­до­ров через верх­нюю часть зала или про­стран­ство на­вес­но­го по­тол­ка (см. Рисунок 1). Такая схема может быть ре­а­ли­зо­ва­на толь­ко при на­ли­чии фаль­шпо­ла до­ста­точ­ной высоты

В во­про­се вы­бо­ра места для уста­нов­ки шкаф­ных кон­ди­ци­о­не­ров един­ство мне­ний от­сут­ству­ет, мно­гие ука­за­ли на воз­мож­ность их раз­ме­ще­ния как в сер­вер­ном зале, так и в со­сед­нем по­ме­ще­нии. Алек­сей Кар­пин­ский, ди­рек­тор де­пар­та­мен­та ин­же­нер­ных си­стем ком­па­нии «Асте­рос», уве­рен, что для низ­ко­на­гру­жен­ных стоек луч­шим ре­ше­ни­ем будет вынос «тя­же­лой ин­же­не­рии» за пре­де­лы сер­вер­но­го зала (см. Рисунок 2) — тогда для об­слу­жи­ва­ния кон­ди­ци­о­не­ров внутрь зала вхо­дить не при­дет­ся. «Это по­вы­ша­ет на­деж­ность ра­бо­ты обо­ру­до­ва­ния, ведь, как из­вест­но, наи­бо­лее часто оно вы­хо­дит из строя вслед­ствие че­ло­ве­че­ско­го фак­то­ра, — объ­яс­ня­ет он. — При­чем по­ме­ще­ние с кон­ди­ци­о­не­ра­ми может быть со­вер­шен­но не свя­зан­ным с ма­шин­ным залом и рас­по­ла­гать­ся, на­при­мер, через ко­ри­дор или на дру­гом этаже».

Если стой­ки мощ­но­стью 5 и 20 кВт уста­нав­ли­ва­ют­ся в одном по­ме­ще­нии, Алек­сандр Ласый, за­ме­сти­тель ди­рек­то­ра де­пар­та­мен­та ин­тел­лек­ту­аль­ных зда­ний ком­па­нии «Крок», ре­ко­мен­ду­ет ор­га­ни­зо­вать фи­зи­че­ское раз­де­ле­ние го­ря­чих и хо­лод­ных ко­ри­до­ров. В си­ту­а­ции, когда для вы­со­ко­на­гру­жен­ных стоек вы­де­ля­ет­ся от­дель­ное по­ме­ще­ние, по­доб­но­го раз­де­ле­ния для стоек на 5 кВт не требуется.

ФРЕОН ИЛИ ВОДА

Шкаф­ные кон­ди­ци­о­не­ры на рынке пред­став­ле­ны как во фре­о­но­вом ис­пол­не­нии, так и в ва­ри­ан­тах с во­дя­ным охла­жде­ни­ем. При ис­поль­зо­ва­нии фре­о­но­вых кон­ди­ци­о­не­ров на крыше или при­ле­га­ю­щей тер­ри­то­рии необ­хо­ди­мо преду­смот­реть место для уста­нов­ки кон­ден­са­тор­ных бло­ков, а при во­дя­ном охла­жде­нии по­тре­бу­ет­ся место под на­сос­ную и во­до­охла­жда­ю­щие ма­ши­ны (чиллеры).

Спе­ци­а­ли­сты ком­па­нии «АМД­тех­но­ло­гии» пред­ста­ви­ли За­каз­чи­ку срав­не­ние раз­лич­ных ва­ри­ан­тов фре­о­но­вых и во­дя­ных си­стем кон­ди­ци­о­ни­ро­ва­ния. Наи­бо­лее бюд­жет­ный ва­ри­ант преду­смат­ри­ва­ет уста­нов­ку обыч­ных шкаф­ных фре­о­но­вых кон­ди­ци­о­не­ров HPM M50 UA с по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. При­мер­но на чет­верть до­ро­же обой­дут­ся мо­де­ли кон­ди­ци­о­не­ров с циф­ро­вым спи­раль­ным ком­прес­со­ром и элек­трон­ным тер­мо­рас­ши­ри­тель­ным вен­ти­лем (HPM D50 UA, Digital). Мощ­ность кон­ди­ци­о­не­ров ре­гу­ли­ру­ет­ся в за­ви­си­мо­сти от тем­пе­ра­ту­ры в по­ме­ще­нии, это поз­во­ля­ет до­бить­ся 12-про­цент­ной эко­но­мии элек­тро­энер­гии, а также умень­шить ко­ли­че­ство пусков и оста­но­ва ком­прес­со­ра, что по­вы­ша­ет срок служ­бы си­сте­мы. В слу­чае от­сут­ствия на объ­ек­те фаль­шпо­ла (или его недо­ста­точ­ной вы­со­ты) пред­ло­жен более до­ро­гой по на­чаль­ным вло­же­ни­ям, но эко­но­мич­ный в экс­плу­а­та­ции ва­ри­ант с внут­ри­ряд­ны­ми фре­о­но­вы­ми кондиционерами.

Как по­ка­зы­ва­ет пред­став­лен­ный ана­лиз, фре­о­но­вые кон­ди­ци­о­не­ры менее эф­фек­тив­ны по срав­не­нию с си­сте­мой во­дя­но­го охла­жде­ния. При этом, о чем на­по­ми­на­ет Вик­тор Гав­ри­лов, тех­ни­че­ский ди­рек­тор «АМД­тех­но­ло­гий», фре­о­но­вая си­сте­ма имеет огра­ни­че­ние по длине тру­бо­про­во­да и пе­ре­па­ду высот между внут­рен­ни­ми и на­руж­ны­ми бло­ка­ми (эк­ви­ва­лент­ная общая длина трас­сы фре­о­но­про­во­да не долж­на пре­вы­шать 50 м, а ре­ко­мен­ду­е­мый пе­ре­пад по вы­со­те — 30 м); у во­дя­ной си­сте­мы таких огра­ни­че­ний нет, по­это­му ее можно при­спо­со­бить к любым осо­бен­но­стям зда­ния и при­ле­га­ю­щей тер­ри­то­рии. Важно также пом­нить, что при при­ме­не­нии фре­о­но­вой си­сте­мы пер­спек­ти­вы раз­ви­тия (уве­ли­че­ние плот­но­сти энер­го­по­треб­ле­ния) су­ще­ствен­но огра­ни­че­ны, тогда как при за­клад­ке необ­хо­ди­мой ин­фра­струк­ту­ры по­да­чи хо­лод­ной воды к стой­кам (тру­бо­про­во­ды, на­со­сы, ар­ма­ту­ра) на­груз­ку на стой­ку можно впо­след­ствии уве­ли­чи­вать до 30 кВт и выше, не при­бе­гая к ка­пи­таль­ной ре­кон­струк­ции сер­вер­но­го помещения.

К фак­то­рам, ко­то­рые могут опре­де­лить выбор в поль­зу фре­о­но­вых кон­ди­ци­о­не­ров, можно от­не­сти от­сут­ствие места на улице (на­при­мер из-за невоз­мож­но­сти обес­пе­чить по­жар­ный про­езд) или на кров­ле (вслед­ствие осо­бен­но­стей кон­струк­ции или ее недо­ста­точ­ной несу­щей спо­соб­но­сти) для мон­та­жа мо­но­блоч­ных чил­ле­ров на­руж­ной уста­нов­ки. При этом боль­шин­ство экс­пер­тов еди­но­душ­но вы­ска­зы­ва­ют мне­ние, что при ука­зан­ных мощ­но­стях ре­ше­ние на воде эко­но­ми­че­ски це­ле­со­об­раз­нее и проще в ре­а­ли­за­ции. Кроме того, при ис­поль­зо­ва­нии воды и/или эти­лен­гли­ко­ле­вой смеси в ка­че­стве хо­ло­до­но­си­те­ля можно за­дей­ство­вать ти­по­вые функ­ции фри­ку­лин­га в чиллерах.

Впро­чем, функ­ции фри­ку­лин­га воз­мож­но за­дей­ство­вать и во фре­о­но­вых кон­ди­ци­о­не­рах. Такие ва­ри­ан­ты ука­за­ны в пред­ло­же­ни­ях ком­па­ний RC Group и «Ин­же­нер­ное бюро ’’Хос­сер‘‘», где ис­поль­зу­ют­ся фре­о­но­вые кон­ди­ци­о­не­ры со встро­ен­ны­ми кон­ден­са­то­ра­ми во­дя­но­го охла­жде­ния и внеш­ни­ми теп­ло­об­мен­ни­ка­ми с функ­ци­ей фри­ку­лин­га (сухие гра­дир­ни). Спе­ци­а­ли­сты RC Group сразу от­ка­за­лись от ва­ри­ан­та с уста­нов­кой кон­ди­ци­о­не­ров с вы­нос­ны­ми кон­ден­са­то­ра­ми воз­душ­но­го охла­жде­ния, по­сколь­ку он не со­от­вет­ству­ет тре­бо­ва­нию За­каз­чи­ка за­дей­ство­вать режим фри­ку­лин­га. По­ми­мо уже на­зван­но­го они пред­ло­жи­ли ре­ше­ние на ос­но­ве кон­ди­ци­о­не­ров, ра­бо­та­ю­щих на охла­жден­ной воде. Ин­те­рес­но от­ме­тить, что и про­ек­ти­ров­ши­ки «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» раз­ра­бо­та­ли вто­рой ва­ри­ант на воде.

Если ком­па­ния «АМД­тех­но­ло­гии» пред­ло­жи­ла для стоек на 5 кВт ре­ше­ние на базе внут­ри­ряд­ных кон­ди­ци­о­не­ров толь­ко как один из воз­мож­ных ва­ри­ан­тов, то APC by Schneider Electric (см. Ри­су­нок 3), а также один из парт­не­ров этого про­из­во­ди­те­ля, ком­па­ния «Ути­лекс», от­да­ют пред­по­чте­ние кон­ди­ци­о­не­рам, уста­нав­ли­ва­е­мым в ряды стоек. В обоих ре­ше­ни­ях пред­ло­же­но изо­ли­ро­вать го­ря­чий ко­ри­дор с по­мо­щью си­сте­мы HACS (см. Ри­су­нок 4). «Для эф­фек­тив­но­го охла­жде­ния необ­хо­ди­мо сни­зить по­те­ри при транс­пор­ти­ров­ке хо­лод­но­го воз­ду­ха, по­это­му си­сте­мы кон­ди­ци­о­ни­ро­ва­ния лучше уста­но­вить рядом с на­груз­кой. Раз­ме­ще­ние кон­ди­ци­о­не­ров в от­дель­ном по­ме­ще­нии — такая мо­дель при­ме­ня­лась в со­вет­ских вы­чис­ли­тель­ных цен­трах — в дан­ном слу­чае менее эф­фек­тив­но», — счи­та­ет Дмит­рий Ча­га­ров. В слу­чае ис­поль­зо­ва­ния внут­ри­ряд­ных кон­ди­ци­о­не­ров фаль­шпол уже не яв­ля­ет­ся необ­хо­ди­мо­стью, хотя в про­ек­те «Ути­лек­са» он преду­смот­рен — для про­клад­ки трасс хо­ло­до­снаб­же­ния, элек­тро­пи­та­ния и СКС.

Ми­ха­ил Бал­ка­ров, си­стем­ный ин­же­нер ком­па­нии APC by Schneider Electric, от­ме­ча­ет, что при от­сут­ствии фаль­шпо­ла трубы можно про­ло­жить либо в штро­бах, либо свер­ху, преду­смот­рев до­пол­ни­тель­ный уро­вень за­щи­ты в виде лот­ков или ко­ро­бов для кон­тро­ли­ру­е­мо­го слива воз­мож­ных про­те­чек. Если же фаль­шпол преду­смат­ри­ва­ет­ся, то его ре­ко­мен­ду­е­мая вы­со­та со­став­ля­ет не менее 40 см — из со­об­ра­же­ний удоб­ства про­клад­ки труб.

ЧИЛ­ЛЕР И ЕГО «ОБВЯЗКА»

В боль­шин­стве про­ек­тов преду­смат­ри­ва­ет­ся уста­нов­ка внеш­не­го чил­ле­ра и ор­га­ни­за­ция двух­кон­тур­ной си­сте­мы хо­ло­до­снаб­же­ния. Во внеш­нем кон­ту­ре, свя­зы­ва­ю­щем чил­ле­ры и про­ме­жу­точ­ные теп­ло­об­мен­ни­ки, хо­ло­до­но­си­те­лем слу­жит вод­ный рас­твор эти­лен­гли­ко­ля, а во внут­рен­нем — между теп­ло­об­мен­ни­ка­ми и кон­ди­ци­о­не­ра­ми (шкаф­ны­ми и/или внут­ри­ряд­ны­ми) — цир­ку­ли­ру­ет уже чи­стая вода. Необ­хо­ди­мость ис­поль­зо­ва­ния эти­лен­гли­ко­ля во внеш­нем кон­ту­ре легко объ­яс­ни­ма — это ве­ще­ство зимой не за­мер­за­ет. У За­каз­чи­ка воз­ник ре­зон­ный во­прос: зачем нужен вто­рой кон­тур, и по­че­му нель­зя ор­га­ни­зо­вать всего один — ведь в этом слу­чае КПД будет выше?

По сло­вам Вла­ди­сла­ва Яко­вен­ко, двух­кон­тур­ная схема поз­во­ля­ет сни­зить объем до­ро­го­го хо­ло­до­но­си­те­ля (эти­лен­гли­ко­ля) и яв­ля­ет­ся более эко­ло­гич­ной. Эти­лен­гли­коль — ядо­ви­тое, хи­ми­че­ски ак­тив­ное ве­ще­ство, и если про­теч­ка слу­чит­ся внут­ри по­ме­ще­ния ЦОД, лик­ви­да­ция по­след­ствий такой ава­рии ста­нет се­рьез­ной про­бле­мой для служ­бы экс­плу­а­та­ции. Сле­ду­ет также учи­ты­вать, что при со­дер­жа­нии гли­ко­ля в рас­тво­ре хо­ло­до­но­си­те­ля на уровне 40% по­тре­бу­ют­ся более мощ­ные на­со­сы (из-за вы­со­кой вяз­ко­сти рас­тво­ра), по­это­му по­треб­ле­ние энер­гии и, со­от­вет­ствен­но, экс­плу­а­та­ци­он­ные рас­хо­ды уве­ли­чат­ся. На­ко­нец, тре­бо­ва­ние к мон­та­жу си­сте­мы без гли­ко­ля го­раз­до ниже, а экс­плу­а­ти­ро­вать ее проще.

При ис­поль­зо­ва­нии чил­ле­ров функ­цию «бес­пе­ре­бой­но­го охла­жде­ния» ре­а­ли­зо­вать до­воль­но про­сто: при воз­ник­но­ве­нии пе­ре­бо­ев с по­да­чей элек­тро­энер­гии си­сте­ма спо­соб­на обес­пе­чить охла­жде­ние сер­вер­ной до за­пус­ка ди­зе­ля или кор­рект­но­го вы­клю­че­ния сер­ве­ров за счет хо­лод­ной воды, за­па­сен­ной в ба­ках-ак­ку­му­ля­то­рах. Как от­ме­ча­ет Вик­тор Гав­ри­лов, ре­а­ли­за­ция по­доб­ной схемы поз­во­ля­ет удер­жать из­ме­не­ние гра­ди­ен­та тем­пе­ра­ту­ры в до­пу­сти­мых пре­де­лах (ве­ду­щие про­из­во­ди­те­ли сер­ве­ров тре­бу­ют, чтобы ско­рость из­ме­не­ния тем­пе­ра­ту­ры со­став­ля­ла не более 50С/час, а уве­ли­че­ние этой ско­ро­сти может при­ве­сти к по­лом­ке сер­вер­но­го обо­ру­до­ва­ния, что осо­бен­но часто про­ис­хо­дит при воз­об­нов­ле­нии охла­жде­ния в ре­зуль­та­те рез­ко­го сни­же­ния тем­пе­ра­ту­ры). При про­па­да­нии элек­тро­пи­та­ния для под­дер­жа­ния ра­бо­ты чил­лер­ной си­сте­мы кон­ди­ци­о­ни­ро­ва­ния необ­хо­ди­мо толь­ко обес­пе­чить функ­ци­о­ни­ро­ва­ние пе­ре­ка­чи­ва­ю­щих на­со­сов и вен­ти­ля­то­ров кон­ди­ци­о­не­ров — по­треб­ле­ние от ИБП сво­дит­ся к ми­ни­му­му. Для клас­си­че­ских фре­о­но­вых си­стем необ­хо­ди­мо обес­пе­чить пи­та­ни­ем весь ком­плекс це­ли­ком (при этом все ком­прес­со­ры долж­ны быть осна­ще­ны функ­ци­ей «мяг­ко­го за­пус­ка»), по­это­му тре­бу­ют­ся кон­ди­ци­о­не­ры и ИБП более до­ро­гой комплектации.

КОГДА РАС­ТЕТ ПЛОТНОСТЬ

Боль­шин­ство пред­ло­жен­ных За­каз­чи­ку ре­ше­ний для охла­жде­ния вы­со­ко­на­гру­жен­ных стоек (20 кВт) преду­смат­ри­ва­ет ис­поль­зо­ва­ние внут­ри­ряд­ных кон­ди­ци­о­не­ров. Как по­ла­га­ет Алек­сандр Ласый, ос­нов­ная слож­ность при от­во­де от стой­ки 20 кВт тепла с по­мо­щью клас­си­че­ской схемы охла­жде­ния, ба­зи­ру­ю­щей­ся на шкаф­ных кон­ди­ци­о­не­рах, свя­за­на с по­да­чей охла­жден­но­го воз­ду­ха из-под фаль­шполь­но­го про­стран­ства и до­став­кой его до теп­ло­вы­де­ля­ю­ще­го обо­ру­до­ва­ния. «Зна­чи­тель­ные пе­ре­па­ды дав­ле­ния на пер­фо­ри­ро­ван­ных ре­шет­ках фаль­шпо­ла и вы­со­кие ско­ро­сти дви­же­ния воз­ду­ха со­зда­ют нерав­но­мер­ный воз­душ­ный поток в зоне перед стой­ка­ми даже при раз­де­ле­нии го­ря­чих и хо­лод­ных ко­ри­до­ров, — от­ме­ча­ет он. — Это при­во­дит к нерав­но­мер­но­му охла­жде­нию стоек и их пе­ре­гре­ву. В слу­чае пе­ре­мен­ной за­груз­ки стоек воз­ни­ка­ет необ­хо­ди­мость пе­ре­на­стра­и­вать си­сте­му воз­ду­хо­рас­пре­де­ле­ния через фаль­шпол, что до­воль­но затруднительно».

Впро­чем, неко­то­рые ком­па­нии «риск­ну­ли» пред­ло­жить для стоек на 20 кВт си­сте­му, ос­но­ван­ную на тех же прин­ци­пах, что при­ме­ня­ют­ся для стоек на 5кВт, — по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. По сло­вам Сер­гея Бон­да­ре­ва, ру­ко­во­ди­те­ля от­де­ла про­даж «Вайсс Кли­ма­тех­ник», его опыт по­ка­зы­ва­ет, что уста­нов­ка до­пол­ни­тель­ных ре­ше­ток во­круг стой­ки для уве­ли­че­ния пло­ща­ди се­че­ния, через ко­то­рое по­сту­па­ет хо­лод­ный воз­дух (а зна­чит и его объ­е­ма), поз­во­ля­ет сни­мать теп­ло­вую на­груз­ку в 20 кВт. Ре­ше­ние этой ком­па­нии от­ли­ча­ет­ся от дру­гих про­ек­тов ре­а­ли­за­ци­ей фри­ку­лин­га: кон­струк­ция кон­ди­ци­о­не­ров Deltaclima FC про­из­вод­ства Weiss Klimatechnik поз­во­ля­ет под­во­дить к ним хо­лод­ный воз­дух прямо с улицы.

Ин­те­рес­ное ре­ше­ние пред­ло­жи­ла ком­па­ния «Юни­Конд», парт­нер ита­льян­ской Uniflair: клас­си­че­ская си­сте­ма охла­жде­ния через фаль­шпол до­пол­ня­ет­ся обо­ру­до­ван­ны­ми вен­ти­ля­то­ра­ми мо­ду­ля­ми «ак­тив­но­го пола», ко­то­рые уста­нав­ли­ва­ют­ся вме­сто обыч­ных пли­ток фаль­шпо­ла. По утвер­жде­нию спе­ци­а­ли­стов «Юни­Конд», такие мо­ду­ли поз­во­ля­ют су­ще­ствен­но уве­ли­чить объ­е­мы ре­гу­ли­ру­е­мых по­то­ков воз­ду­ха: до 4500 м³/час вме­сто 800–1000 м³/час от обыч­ной ре­шет­ки 600х600 мм. Они также от­ме­ча­ют, что про­сто уста­но­вить вен­ти­ля­тор в под­поль­ном про­стран­стве недо­ста­точ­но для обес­пе­че­ния га­ран­ти­ро­ван­но­го охла­жде­ния сер­вер­ных стоек. Важно пра­виль­но ор­га­ни­зо­вать воз­душ­ный поток как по дав­ле­нию, так и по на­прав­ле­нию воз­ду­ха, чтобы обес­пе­чить по­да­чу воз­ду­ха не толь­ко в верх­нюю часть стой­ки, но и, в слу­чае необ­хо­ди­мо­сти, в ее ниж­нюю часть. Для этого па­нель «ак­тив­но­го пола» по­ми­мо вен­ти­ля­то­ра ком­плек­ту­ет­ся про­цес­со­ром, дат­чи­ка­ми тем­пе­ра­ту­ры и по­во­рот­ны­ми ла­ме­ля­ми (см. Ри­су­нок 5). При­ме­не­ние мо­ду­лей «ак­тив­но­го пола» без до­пол­ни­тель­ной изо­ля­ции по­то­ков воз­ду­ха поз­во­ля­ет уве­ли­чить мощ­ность стой­ки до 15 кВт, а при гер­ме­ти­за­ции хо­лод­но­го ко­ри­до­ра (в «Юни­Конд» это ре­ше­ние на­зы­ва­ют «хо­лод­ным бас­сей­ном») — до 25 кВт.

Как уже го­во­ри­лось, боль­шин­ство про­ек­ти­ров­щи­ков ре­ко­мен­до­ва­ли для стоек на 20 кВт си­сте­мы с внут­ри­ряд­ным охла­жде­ни­ем и изо­ля­цию по­то­ков го­ря­че­го и хо­лод­но­го воз­ду­ха. Как от­ме­ча­ет Алек­сандр Ласый, ис­поль­зо­ва­ние вы­со­ко­на­гру­жен­ных стоек в со­че­та­нии с внут­ри­ряд­ны­ми кон­ди­ци­о­не­ра­ми поз­во­ля­ет уве­ли­чить плот­ность раз­ме­ще­ния сер­вер­но­го обо­ру­до­ва­ния и со­кра­тить про­стран­ство (ко­ри­до­ры, про­хо­ды) для его об­слу­жи­ва­ния. Вза­им­ное рас­по­ло­же­ние сер­вер­ных стоек и кон­ди­ци­о­не­ров в этом слу­чае сво­дит к ми­ни­му­му нерав­но­мер­ность рас­пре­де­ле­ния хо­ло­да в ава­рий­ной ситуации.

Выбор раз­лич­ных ва­ри­ан­тов за­кры­той ар­хи­тек­ту­ры цир­ку­ля­ции воз­ду­ха пред­ло­жи­ла ком­па­ния «Асте­рос»: от изо­ля­ции хо­лод­но­го (ре­ше­ние от Knuеrr и Emerson) или го­ря­че­го ко­ри­до­ра (APC) до изо­ля­ции воз­душ­ных по­то­ков на уровне стой­ки (Rittal, APC, Emerson, Knuеrr). При­чем, как от­ме­ча­ет­ся в про­ек­те, 16 вы­со­ко­на­гру­жен­ных стоек можно раз­ме­стить и в от­дель­ном по­ме­ще­нии, и в общем зале. В ка­че­стве ва­ри­ан­тов кон­ди­ци­о­нер­но­го обо­ру­до­ва­ния спе­ци­а­ли­сты «Асте­рос» рас­смот­ре­ли воз­мож­ность уста­нов­ки внут­ри­ряд­ных кон­ди­ци­о­не­ров APC InRowRP/RD (с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра), Emerson CR040RC и за­кры­тых ре­ше­ний на базе обо­ру­до­ва­ния Knuеrr CoolLoop — во всех этих слу­ча­ях обес­пе­чи­ва­ет­ся ре­зер­ви­ро­ва­ние на уровне ряда по схеме N+1. Еще один ва­ри­ант — ряд­ные кон­ди­ци­о­не­ры LCP ком­па­нии Rittal, со­сто­я­щие из трех охла­жда­ю­щих мо­ду­лей, каж­дый из ко­то­рых можно за­ме­нить в «го­ря­чем» ре­жи­ме. В пол­ной мере до­ка­зав свою «вен­до­ро­не­за­ви­си­мость», ин­те­гра­то­ры «Асте­рос» все же от­ме­ти­ли, что при ис­поль­зо­ва­нии мо­но­брен­до­во­го ре­ше­ния, на­при­мер на базе про­дук­тов Emerson, все эле­мен­ты могут быть объ­еди­не­ны в еди­ную ло­каль­ную сеть, что поз­во­лит оп­ти­ми­зи­ро­вать ра­бо­ту си­сте­мы и сни­зить рас­ход энергии.

Как по­ла­га­ют в «Асте­рос», раз­ме­щать тру­бо­про­во­ды в под­по­то­лоч­ной зоне неже­ла­тель­но, по­сколь­ку при на­ли­чии под­вес­но­го по­тол­ка об­на­ру­жить и предот­вра­тить про­теч­ку и об­ра­зо­ва­ние кон­ден­са­та очень слож­но. По­это­му они ре­ко­мен­ду­ют обу­стро­ить фаль­шпол вы­со­той до 300 мм — этого до­ста­точ­но для про­клад­ки ка­бель­ной про­дук­ции и тру­бо­про­во­дов хо­ло­до­снаб­же­ния. Так же как и в ос­нов­ном полу, здесь необ­хо­ди­мо преду­смот­реть сред­ства для сбора жид­ко­сти при воз­ник­но­ве­нии ава­рий­ных си­ту­а­ций (гид­ро­изо­ля­ция, при­ям­ки, разу­к­лон­ка и т. д.).

Как и шкаф­ные кон­ди­ци­о­не­ры, внут­ри­ряд­ные до­вод­чи­ки вы­пус­ка­ют­ся не толь­ко в во­дя­ном, но и во фре­о­но­вом ис­пол­не­нии. На­при­мер, но­вин­ка ком­па­нии RC Group — внут­ри­ряд­ные си­сте­мы охла­жде­ния Coolside — по­став­ля­ет­ся в сле­ду­ю­щих ва­ри­ан­тах: с фре­о­но­вы­ми внут­рен­ни­ми бло­ка­ми, с внут­рен­ни­ми бло­ка­ми на охла­жден­ной воде, с одним на­руж­ным и одним внут­рен­ним фре­о­но­вым бло­ком, а также с одним на­руж­ным и несколь­ки­ми внут­рен­ни­ми фре­о­но­вы­ми бло­ка­ми. Учи­ты­вая по­же­ла­ние За­каз­чи­ка от­но­си­тель­но энер­го­сбе­ре­же­ния, для дан­но­го про­ек­та вы­бра­ны си­сте­мы Coolside, ра­бо­та­ю­щие на охла­жден­ной воде, по­лу­ча­е­мой от чил­ле­ра. Число чил­ле­ров, уста­нов­лен­ных на пер­вом этапе про­ек­та, при­дет­ся вдвое увеличить.

Для вы­со­ко­плот­ных стоек ком­па­ния «АМД­тех­но­ло­гии» раз­ра­бо­та­ла несколь­ко ва­ри­ан­тов ре­ше­ний — в за­ви­си­мо­сти от кон­цеп­ции, при­ня­той для стоек на 5 кВт. Если За­каз­чик вы­бе­рет бюд­жет­ный ва­ри­ант (фре­о­но­вые кон­ди­ци­о­не­ры), то в стой­ках на 20 кВт пред­ла­га­ет­ся уста­но­вить ряд­ные кон­ди­ци­о­не­ры-до­вод­чи­ки XDH, а в ка­че­стве хо­ло­диль­ной ма­ши­ны — чил­лер внут­рен­ней уста­нов­ки с вы­нос­ны­ми кон­ден­са­то­ра­ми XDC, обес­пе­чи­ва­ю­щий цир­ку­ля­цию хо­ло­до­но­си­те­ля для до­вод­чи­ков XDH. Если же За­каз­чик с са­мо­го на­ча­ла ори­ен­ти­ру­ет­ся на чил­ле­ры, то ре­ко­мен­ду­ет­ся до­ба­вить еще один чил­лер SBH 030 и также ис­поль­зо­вать кон­ди­ци­о­не­ры-до­вод­чи­ки XDH. Чтобы «раз­вя­зать» чил­лер­ную воду и фреон 134, ис­поль­зу­е­мый кон­ди­ци­о­не­ра­ми XDH, при­ме­ня­ют­ся спе­ци­аль­ные гид­рав­ли­че­ские мо­ду­ли XDP (см. Рисунок 6).

Спе­ци­а­ли­сты са­мо­го про­из­во­ди­те­ля — ком­па­нии Emerson Network — преду­смот­ре­ли толь­ко один ва­ри­ант, ос­но­ван­ный на раз­ви­тии чил­лер­ной си­сте­мы, пред­ло­жен­ной для стоек на 5 кВт. Они от­ме­ча­ют, что ис­поль­зо­ва­ние в си­сте­ме Liebert XD фрео­на R134 ис­клю­ча­ет ввод воды в по­ме­ще­ние ЦОД. В ос­но­ву ра­бо­ты этой си­сте­мы по­ло­же­но свой­ство жид­ко­стей по­гло­щать тепло при ис­па­ре­нии. Жид­кий хо­ло­до­но­си­тель, на­гне­та­е­мый на­со­сом, ис­па­ря­ет­ся в теп­ло­об­мен­ни­ках бло­ков охла­жде­ния XDH, а затем по­сту­па­ет в мо­дуль XDP, где вновь пре­вра­ща­ет­ся в жид­кость в ре­зуль­та­те про­цес­са кон­ден­са­ции. Таким об­ра­зом, ком­прес­си­он­ный цикл, при­сут­ству­ю­щий в тра­ди­ци­он­ных си­сте­мах, ис­клю­ча­ет­ся. Даже если слу­чит­ся утеч­ка жид­ко­сти, эко­ло­ги­че­ски без­вред­ный хо­ло­до­но­си­тель про­сто ис­па­рит­ся, не при­чи­нив ни­ка­ко­го вреда оборудованию.

Дан­ная схема пред­по­ла­га­ет воз­мож­ность по­этап­но­го ввода обо­ру­до­ва­ния: по мере уве­ли­че­ния мощ­но­сти на­груз­ки уста­нав­ли­ва­ют­ся до­пол­ни­тель­ные до­вод­чи­ки, ко­то­рые под­со­еди­ня­ют­ся к су­ще­ству­ю­щей си­сте­ме тру­бо­про­во­дов при по­мо­щи гиб­ких под­во­док и быст­ро­разъ­ем­ных со­еди­не­ний, что не тре­бу­ет оста­нов­ки си­сте­мы кондиционирования.

СПЕЦ­ШКА­ФЫ

Как счи­та­ет Алек­сандр Ша­пи­ро, на­чаль­ник от­де­ла ин­же­нер­ных си­стем «Кор­по­ра­ции ЮНИ», теп­ло­вы­де­ле­ние 18–20 кВт на шкаф — это при­мер­но та гра­ни­ца, когда тепло можно от­ве­сти за ра­зум­ную цену тра­ди­ци­он­ны­ми ме­то­да­ми (с при­ме­не­ни­ем внут­ри­ряд­ных и/или под­по­то­лоч­ных до­вод­чи­ков, вы­го­ра­жи­ва­ния рядов и т. п.). При более вы­со­кой плот­но­сти энер­го­по­треб­ле­ния вы­год­нее ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы с ло­каль­ны­ми си­сте­ма­ми во­дя­но­го охла­жде­ния. Же­ла­ние при­ме­нить для от­во­да тепла от вто­рой груп­пы шка­фов тра­ди­ци­он­ные ме­то­ды объ­яс­ни­мо, но, как пре­ду­пре­жда­ет спе­ци­а­лист «Кор­по­ра­ции ЮНИ», по­яв­ле­ние в зале новых энер­го­ем­ких шка­фов по­тре­бу­ет мон­та­жа до­пол­ни­тель­ных хо­ло­диль­ных машин, из­ме­не­ния кон­фи­гу­ра­ции вы­го­ро­док, кон­тро­ля за из­ме­нив­шей­ся «теп­ло­вой кар­ти­ной». Про­ве­де­ние таких («гряз­ных») работ в дей­ству­ю­щем ЦОДе не це­ле­со­об­раз­но. По­это­му в ка­че­стве энер­го­ем­ких шка­фов спе­ци­а­ли­сты «Кор­по­ра­ции ЮНИ» пред­ло­жи­ли ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы CoolLoop с от­во­дом тепла водой про­из­вод­ства Knuеrr в ва­ри­ан­те с тремя мо­ду­ля­ми охла­жде­ния (10 кВт каж­дый, N+1). По­доб­ный ва­ри­ант преду­смот­ре­ли и неко­то­рые дру­гие про­ек­ти­ров­щи­ки.

Ми­ну­сы та­ко­го ре­ше­ния свя­за­ны с по­вы­ше­ни­ем сто­и­мо­сти про­ек­та (CAPEX) и необ­хо­ди­мо­стью за­ве­де­ния воды в сер­вер­ный зал. Глав­ный плюс — в от­лич­ной мас­шта­би­ру­е­мо­сти: уста­нов­ка новых шка­фов не до­бав­ля­ет теп­ло­вой на­груз­ки в зале и не при­во­дит к пе­ре­рас­пре­де­ле­нию тепла, а под­клю­че­ние шкафа к си­сте­ме хо­ло­до­снаб­же­ния За­каз­чик может вы­пол­нять сво­и­ми си­ла­ми. Кроме того, он имеет воз­мож­ность путем до­бав­ле­ния вен­ти­ля­ци­он­но­го мо­ду­ля от­ве­сти от шкафа еще 10 кВт тепла (всего 30 кВт при со­хра­не­нии ре­зер­ви­ро­ва­ния N+1) — фак­ти­че­ски это ре­зерв для роста. На­ко­нец, как утвер­жда­ет Алек­сандр Ша­пи­ро, с точки зре­ния энер­го­сбе­ре­же­ния (OPEX) дан­ное ре­ше­ние яв­ля­ет­ся наи­бо­лее эффективным.

В про­ек­те «Кор­по­ра­ции ЮНИ» шкафы CoolLoop пред­по­ла­га­ет­ся уста­но­вить в общем сер­вер­ном зале с уче­том прин­ци­па че­ре­до­ва­ния го­ря­чих и хо­лод­но­го ко­ри­до­ров, чем га­ран­ти­ру­ет­ся ра­бо­то­спо­соб­ность шка­фов при ава­рий­ном или тех­но­ло­ги­че­ском от­кры­ва­нии две­рей. При­чем общее кон­ди­ци­о­ни­ро­ва­ние воз­ду­ха в зоне энер­го­ем­ких шка­фов обес­пе­чи­ва­ет­ся ана­ло­гич­но ос­нов­ной зоне сер­вер­но­го зала за одним ис­клю­че­ни­ем — запас хо­ло­да со­став­ля­ет 20–30 кВт. Кон­ди­ци­о­не­ры ре­ко­мен­до­ва­но уста­но­вить в от­дель­ном по­ме­ще­нии, смеж­ном с сер­вер­ным залом и залом раз­ме­ще­ния ИБП (см. Рисунок 7). Такая ком­по­нов­ка имеет ряд пре­иму­ществ: во-пер­вых, тем самым раз­гра­ни­чи­ва­ют­ся зоны от­вет­ствен­но­сти служ­бы кон­ди­ци­о­ни­ро­ва­ния и ИТ-служб (со­труд­ни­кам служ­бы кон­ди­ци­о­ни­ро­ва­ния нет необ­хо­ди­мо­сти за­хо­дить в сер­вер­ный зал); во-вто­рых, из зоны раз­ме­ще­ния кон­ди­ци­о­не­ров обес­пе­чи­ва­ет­ся по­да­ча/забор воз­ду­ха как в сер­вер­ный зал, так и в зал ИБП; в-тре­тьих, со­кра­ща­ет­ся число ре­зерв­ных кон­ди­ци­о­не­ров (ре­зерв общий).

ФРИ­КУ­ЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Как и про­сил За­каз­чик, все про­ек­ти­ров­щи­ки вклю­чи­ли функ­цию фри­ку­лин­га в свои ре­ше­ния, но мало кто рас­счи­тал энер­ге­ти­че­скую эф­фек­тив­ность ее ис­поль­зо­ва­ния. Такой рас­чет про­вел Ми­ха­ил Бал­ка­ров из APC by Schneider Electric. Вы­де­лив три ре­жи­ма ра­бо­ты си­сте­мы охла­жде­ния — с тем­пе­ра­ту­рой гли­ко­ле­во­го кон­ту­ра 22, 20 и 7°С (режим фри­ку­лин­га), — для каж­до­го он ука­зал ее по­треб­ле­ние (в про­цен­тах от по­лез­ной на­груз­ки) и ко­эф­фи­ци­ент энер­ге­ти­че­ской эф­фек­тив­но­сти (Energy Efficiency Ratio, EER), ко­то­рый опре­де­ля­ет­ся как от­но­ше­ние хо­ло­до­про­из­во­ди­тель­но­сти кон­ди­ци­о­не­ра к по­треб­ля­е­мой им мощ­но­сти. Для на­груз­ки в 600 кВт сред­не­го­до­вое по­треб­ле­ние пред­ло­жен­ной АРС си­сте­мы охла­жде­ния ока­за­лось рав­ным 66 кВт с функ­ци­ей фри­ку­лин­га и 116 кВт без та­ко­вой. Раз­ни­ца 50 кВт в год дает эко­но­мию 438 тыс. кВт*ч.

Объ­яс­няя вы­со­кую энер­го­эф­фек­тив­ность пред­ло­жен­но­го ре­ше­ния, Ми­ха­ил Бал­ка­ров от­ме­ча­ет, что в первую оче­редь эти по­ка­за­те­ли обу­слов­ле­ны вы­бо­ром чил­ле­ров с вы­со­ким EER и при­ме­не­ни­ем эф­фек­тив­ных внут­рен­них бло­ков — по его дан­ным, внут­ри­ряд­ные мо­де­ли кон­ди­ци­о­не­ров в со­че­та­нии с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра обес­пе­чи­ва­ют при­мер­но дву­крат­ную эко­но­мию по срав­не­нию с наи­луч­ши­ми фаль­шполь­ны­ми ва­ри­ан­та­ми и по­лу­то­ра­крат­ную эко­но­мию по срав­не­нию с ре­ше­ни­я­ми, где ис­поль­зу­ет­ся кон­тей­не­ри­за­ция хо­лод­но­го ко­ри­до­ра. Вклад же соб­ствен­но фри­ку­лин­га вто­ри­чен — имен­но по­это­му ра­бо­чая тем­пе­ра­ту­ра воды вы­бра­на не самой вы­со­кой (всего 12°С).

По рас­че­там спе­ци­а­ли­стов «Ком­плит», в усло­ви­ях Мос­ков­ской об­ла­сти пред­ло­жен­ное ими ре­ше­ние с функ­ци­ей фри­ку­лин­га за год поз­во­ля­ет сни­зить рас­ход элек­тро­энер­гии при­мер­но на 50%. Дан­ная функ­ция (в про­ек­те «Ком­плит») ак­ти­ви­зи­ру­ет­ся при тем­пе­ра­ту­ре около +7°С, при по­ни­же­нии тем­пе­ра­ту­ры на­руж­но­го воз­ду­ха вклад фри­ку­лин­га в хо­ло­до­про­из­во­ди­тель­ность будет воз­рас­тать. Пол­но­стью си­сте­ма вы­хо­дит на режим эко­но­мии при тем­пе­ра­ту­ре ниже -5°С.

Спе­ци­а­ли­сты «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» пред­ло­жи­ли рас­чет эко­но­мии, ко­то­рую дает при­ме­не­ние кон­ди­ци­о­не­ров с функ­ци­ей фри­ку­лин­га (мо­дель ALD-702-GE) по срав­не­нию с ис­поль­зо­ва­ни­ем устройств, не осна­щен­ных такой функ­ци­ей (мо­дель ASD-802-A). Как и про­сил За­каз­чик, рас­чет при­вя­зан к Мос­ков­ско­му ре­ги­о­ну (см. Рисунок 8).

Как от­ме­ча­ет Вик­тор Гав­ри­лов, энер­го­по­треб­ле­ние в лет­ний пе­ри­од (при мак­си­маль­ной за­груз­ке) у фре­о­но­вой си­сте­мы ниже, чем у чил­лер­ной, но при тем­пе­ра­ту­ре менее 14°С, энер­го­по­треб­ле­ние по­след­ней сни­жа­ет­ся, что обу­слов­ле­но ра­бо­той фри­ку­лин­га. Эта функ­ция поз­во­ля­ет су­ще­ствен­но по­вы­сить срок экс­плу­а­та­ции и на­деж­ность си­сте­мы, так как в зим­ний пе­ри­од ком­прес­со­ры прак­ти­че­ски не ра­бо­та­ют — в связи с этим ре­сурс ра­бо­ты чил­лер­ных си­стем, как ми­ни­мум, в пол­то­ра раза боль­ше чем у фреоновых.

К пре­иму­ще­ствам пред­ло­жен­ных За­каз­чи­ку чил­ле­ров Emerson Вик­тор Гав­ри­лов от­но­сит воз­мож­ность их объ­еди­не­ния в еди­ную сеть управ­ле­ния и ис­поль­зо­ва­ния функ­ции кас­кад­ной ра­бо­ты хо­ло­диль­ных машин в ре­жи­ме фри­ку­лин­га. Более того, раз­ра­бо­тан­ная ком­па­ни­ей Emerson си­сте­ма Supersaver поз­во­ля­ет управ­лять тем­пе­ра­ту­рой хо­ло­до­но­си­те­ля в со­от­вет­ствии с из­ме­не­ни­я­ми теп­ло­вой на­груз­ки, что уве­ли­чи­ва­ет пе­ри­од вре­ме­ни, в те­че­ние ко­то­ро­го воз­мож­но функ­ци­о­ни­ро­ва­ние си­сте­мы в этом ре­жи­ме. По дан­ным Emerson, при уста­нов­ке чил­ле­ров на 330 кВт режим фри­ку­лин­га поз­во­ля­ет сэко­но­мить 45% элек­тро­энер­гии, кас­кад­ное вклю­че­ние — 5%, тех­но­ло­гия Supersaver — еще 16%, итого — 66%.

Но не все столь оп­ти­ми­стич­ны в от­но­ше­нии фри­ку­лин­га. Алек­сандр Ша­пи­ро на­по­ми­на­ет, что в нашу стра­ну куль­ту­ра ис­поль­зо­ва­ния фри­ку­лин­га в зна­чи­тель­ной мере при­не­се­на с За­па­да, между тем как по­тре­би­тель­ская сто­и­мость этой опции во мно­гом за­ви­сит от сто­и­мо­сти элек­тро­энер­гии, а на се­го­дняш­ний день в Рос­сии и За­пад­ной Ев­ро­пе цены се­рьез­но раз­ли­ча­ют­ся. «Опция фри­ку­лин­га ощу­ти­мо до­ро­га, в Рос­сии же до­ста­точ­но часто ИТ-про­ек­ты пла­ни­ру­ют­ся с де­фи­ци­том бюд­же­та. По­это­му За­каз­чик вы­нуж­ден вы­би­рать: либо обес­пе­чить пла­ни­ру­е­мые тех­ни­че­ские по­ка­за­те­ли ЦОД путем про­сто­го ре­ше­ния (не думая о про­бле­ме уве­ли­че­ния OPEX), либо «ло­мать копья» в по­пыт­ке до­ка­зать це­ле­со­об­раз­ность фри­ку­лин­га, со­гла­ша­ясь на сни­же­ние па­ра­мет­ров ЦОД. В боль­шин­стве слу­ча­ев выбор де­ла­ет­ся в поль­зу пер­во­го ва­ри­ан­та», — за­клю­ча­ет он.

Среди пред­ло­жен­ных За­каз­чи­ку более по­лу­то­ра де­сят­ков ре­ше­ний оди­на­ко­вых нет — даже те, что по­стро­е­ны на ана­ло­гич­ных ком­по­нен­тах од­но­го про­из­во­ди­те­ля, имеют свои осо­бен­но­сти. Это го­во­рит о том, что за­да­чи, свя­зан­ные с охла­жде­ни­ем, от­но­сят­ся к числу наи­бо­лее слож­ных, и ти­по­вые от­ра­бо­тан­ные ре­ше­ния по сути от­сут­ству­ют. Тем не менее, среди пред­став­лен­ных ва­ри­ан­тов За­каз­чик на­вер­ня­ка смо­жет вы­брать наи­бо­лее под­хо­дя­щий с уче­том пред­по­чте­ний в части CAPEX/OPEX и пла­нов по даль­ней­ше­му раз­ви­тию ЦОД.

Алек­сандр Бар­сков — ве­ду­щий ре­дак­тор «Жур­на­ла се­те­вых ре­ше­ний/LAN»

[ http://www.osp.ru/lan/2010/05/13002554/]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center cooling system

модульный центр обработки данных (ЦОД)
-
[Интент]

Параллельные тексты EN-RU

[ http://loosebolts.wordpress.com/2008/12/02/our-vision-for-generation-4-modular-data-centers-one-way-of-getting-it-just-right/]

[ http://dcnt.ru/?p=9299#more-9299]

Data Centers are a hot topic these days. No matter where you look, this once obscure aspect of infrastructure is getting a lot of attention. For years, there have been cost pressures on IT operations and this, when the need for modern capacity is greater than ever, has thrust data centers into the spotlight. Server and rack density continues to rise, placing DC professionals and businesses in tighter and tougher situations while they struggle to manage their IT environments. And now hyper-scale cloud infrastructure is taking traditional technologies to limits never explored before and focusing the imagination of the IT industry on new possibilities.

В настоящее время центры обработки данных являются широко обсуждаемой темой. Куда ни посмотришь, этот некогда малоизвестный аспект инфраструктуры привлекает все больше внимания. Годами ИТ-отделы испытывали нехватку средств и это выдвинуло ЦОДы в центр внимания, в то время, когда необходимость в современных ЦОДах стала как никогда высокой. Плотность серверов и стоек продолжают расти, все больше усложняя ситуацию для специалистов в области охлаждения и организаций в их попытках управлять своими ИТ-средами. И теперь гипермасштабируемая облачная инфраструктура подвергает традиционные технологии невиданным ранее нагрузкам, и заставляет ИТ-индустрию искать новые возможности.

At Microsoft, we have focused a lot of thought and research around how to best operate and maintain our global infrastructure and we want to share those learnings. While obviously there are some aspects that we keep to ourselves, we have shared how we operate facilities daily, our technologies and methodologies, and, most importantly, how we monitor and manage our facilities. Whether it’s speaking at industry events, inviting customers to our “Microsoft data center conferences” held in our data centers, or through other media like blogging and white papers, we believe sharing best practices is paramount and will drive the industry forward. So in that vein, we have some interesting news to share.

В компании MicroSoft уделяют большое внимание изучению наилучших методов эксплуатации и технического обслуживания своей глобальной инфраструктуры и делятся результатами своих исследований. И хотя мы, конечно, не раскрываем некоторые аспекты своих исследований, мы делимся повседневным опытом эксплуатации дата-центров, своими технологиями и методологиями и, что важнее всего, методами контроля и управления своими объектами. Будь то доклады на отраслевых событиях, приглашение клиентов на наши конференции, которые посвящены центрам обработки данных MicroSoft, и проводятся в этих самых дата-центрах, или использование других средств, например, блоги и спецификации, мы уверены, что обмен передовым опытом имеет первостепенное значение и будет продвигать отрасль вперед.

Today we are sharing our Generation 4 Modular Data Center plan. This is our vision and will be the foundation of our cloud data center infrastructure in the next five years. We believe it is one of the most revolutionary changes to happen to data centers in the last 30 years. Joining me, in writing this blog are Daniel Costello, my director of Data Center Research and Engineering and Christian Belady, principal power and cooling architect. I feel their voices will add significant value to driving understanding around the many benefits included in this new design paradigm.

Сейчас мы хотим поделиться своим планом модульного дата-центра четвертого поколения. Это наше видение и оно будет основанием для инфраструктуры наших облачных дата-центров в ближайшие пять лет. Мы считаем, что это одно из самых революционных изменений в дата-центрах за последние 30 лет. Вместе со мной в написании этого блога участвовали Дэниел Костелло, директор по исследованиям и инжинирингу дата-центров, и Кристиан Белади, главный архитектор систем энергоснабжения и охлаждения. Мне кажется, что их авторитет придаст больше веса большому количеству преимуществ, включенных в эту новую парадигму проектирования.

Our “Gen 4” modular data centers will take the flexibility of containerized servers—like those in our Chicago data center—and apply it across the entire facility. So what do we mean by modular? Think of it like “building blocks”, where the data center will be composed of modular units of prefabricated mechanical, electrical, security components, etc., in addition to containerized servers.

Was there a key driver for the Generation 4 Data Center?

Наши модульные дата-центры “Gen 4” будут гибкими с контейнерами серверов – как серверы в нашем чикагском дата-центре. И гибкость будет применяться ко всему ЦОД. Итак, что мы подразумеваем под модульностью? Мы думаем о ней как о “строительных блоках”, где дата-центр будет состоять из модульных блоков изготовленных в заводских условиях электрических систем и систем охлаждения, а также систем безопасности и т.п., в дополнение к контейнеризованным серверам.
Был ли ключевой стимул для разработки дата-центра четвертого поколения?

If we were to summarize the promise of our Gen 4 design into a single sentence it would be something like this: “A highly modular, scalable, efficient, just-in-time data center capacity program that can be delivered anywhere in the world very quickly and cheaply, while allowing for continued growth as required.” Sounds too good to be true, doesn’t it? Well, keep in mind that these concepts have been in initial development and prototyping for over a year and are based on cumulative knowledge of previous facility generations and the advances we have made since we began our investments in earnest on this new design.

Если бы нам нужно было обобщить достоинства нашего проекта Gen 4 в одном предложении, это выглядело бы следующим образом: “Центр обработки данных с высоким уровнем модульности, расширяемости, и энергетической эффективности, а также возможностью постоянного расширения, в случае необходимости, который можно очень быстро и дешево развертывать в любом месте мира”. Звучит слишком хорошо для того чтобы быть правдой, не так ли? Ну, не забывайте, что эти концепции находились в процессе начальной разработки и создания опытного образца в течение более одного года и основываются на опыте, накопленном в ходе развития предыдущих поколений ЦОД, а также успехах, сделанных нами со времени, когда мы начали вкладывать серьезные средства в этот новый проект.

One of the biggest challenges we’ve had at Microsoft is something Mike likes to call the ‘Goldilock’s Problem’. In a nutshell, the problem can be stated as:

The worst thing we can do in delivering facilities for the business is not have enough capacity online, thus limiting the growth of our products and services.

Одну из самых больших проблем, с которыми приходилось сталкиваться Майкрософт, Майк любит называть ‘Проблемой Лютика’. Вкратце, эту проблему можно выразить следующим образом:

Самое худшее, что может быть при строительстве ЦОД для бизнеса, это не располагать достаточными производственными мощностями, и тем самым ограничивать рост наших продуктов и сервисов.

The second worst thing we can do in delivering facilities for the business is to have too much capacity online.

А вторым самым худшим моментом в этой сфере может слишком большое количество производственных мощностей.

This has led to a focus on smart, intelligent growth for the business — refining our overall demand picture. It can’t be too hot. It can’t be too cold. It has to be ‘Just Right!’ The capital dollars of investment are too large to make without long term planning. As we struggled to master these interesting challenges, we had to ensure that our technological plan also included solutions for the business and operational challenges we faced as well.
So let’s take a high level look at our Generation 4 design

Это заставило нас сосредоточиваться на интеллектуальном росте для бизнеса — refining our overall demand picture. Это не должно быть слишком горячим. И это не должно быть слишком холодным. Это должно быть ‘как раз, таким как надо!’ Нельзя делать такие большие капиталовложения без долгосрочного планирования. Пока мы старались решить эти интересные проблемы, мы должны были гарантировать, что наш технологический план будет также включать решения для коммерческих и эксплуатационных проблем, с которыми нам также приходилось сталкиваться.
Давайте рассмотрим наш проект дата-центра четвертого поколения

Are you ready for some great visuals? Check out this video at Soapbox. Click here for the Microsoft 4th Gen Video.

It’s a concept video that came out of my Data Center Research and Engineering team, under Daniel Costello, that will give you a view into what we think is the future.

From a configuration, construct-ability and time to market perspective, our primary goals and objectives are to modularize the whole data center. Not just the server side (like the Chicago facility), but the mechanical and electrical space as well. This means using the same kind of parts in pre-manufactured modules, the ability to use containers, skids, or rack-based deployments and the ability to tailor the Redundancy and Reliability requirements to the application at a very specific level.

Посмотрите это видео, перейдите по ссылке для просмотра видео о Microsoft 4th Gen:

Это концептуальное видео, созданное командой отдела Data Center Research and Engineering, возглавляемого Дэниелом Костелло, которое даст вам наше представление о будущем.

С точки зрения конфигурации, строительной технологичности и времени вывода на рынок, нашими главными целями и задачами агрегатирование всего дата-центра. Не только серверную часть, как дата-центр в Чикаго, но также системы охлаждения и электрические системы. Это означает применение деталей одного типа в сборных модулях, возможность использования контейнеров, салазок, или стоечных систем, а также возможность подстраивать требования избыточности и надежности для данного приложения на очень специфичном уровне.

Our goals from a cost perspective were simple in concept but tough to deliver. First and foremost, we had to reduce the capital cost per critical Mega Watt by the class of use. Some applications can run with N-level redundancy in the infrastructure, others require a little more infrastructure for support. These different classes of infrastructure requirements meant that optimizing for all cost classes was paramount. At Microsoft, we are not a one trick pony and have many Online products and services (240+) that require different levels of operational support. We understand that and ensured that we addressed it in our design which will allow us to reduce capital costs by 20%-40% or greater depending upon class.

Нашими целями в области затрат были концептуально простыми, но трудно реализуемыми. В первую очередь мы должны были снизить капитальные затраты в пересчете на один мегаватт, в зависимости от класса резервирования. Некоторые приложения могут вполне работать на базе инфраструктуры с резервированием на уровне N, то есть без резервирования, а для работы других приложений требуется больше инфраструктуры. Эти разные классы требований инфраструктуры подразумевали, что оптимизация всех классов затрат имеет преобладающее значение. В Майкрософт мы не ограничиваемся одним решением и располагаем большим количеством интерактивных продуктов и сервисов (240+), которым требуются разные уровни эксплуатационной поддержки. Мы понимаем это, и учитываем это в своем проекте, который позволит нам сокращать капитальные затраты на 20%-40% или более в зависимости от класса.

For example, non-critical or geo redundant applications have low hardware reliability requirements on a location basis. As a result, Gen 4 can be configured to provide stripped down, low-cost infrastructure with little or no redundancy and/or temperature control. Let’s say an Online service team decides that due to the dramatically lower cost, they will simply use uncontrolled outside air with temperatures ranging 10-35 C and 20-80% RH. The reality is we are already spec-ing this for all of our servers today and working with server vendors to broaden that range even further as Gen 4 becomes a reality. For this class of infrastructure, we eliminate generators, chillers, UPSs, and possibly lower costs relative to traditional infrastructure.

Например, некритичные или гео-избыточные системы имеют низкие требования к аппаратной надежности на основе местоположения. В результате этого, Gen 4 можно конфигурировать для упрощенной, недорогой инфраструктуры с низким уровнем (или вообще без резервирования) резервирования и / или температурного контроля. Скажем, команда интерактивного сервиса решает, что, в связи с намного меньшими затратами, они будут просто использовать некондиционированный наружный воздух с температурой 10-35°C и влажностью 20-80% RH. В реальности мы уже сегодня предъявляем эти требования к своим серверам и работаем с поставщиками серверов над еще большим расширением диапазона температур, так как наш модуль и подход Gen 4 становится реальностью. Для подобного класса инфраструктуры мы удаляем генераторы, чиллеры, ИБП, и, возможно, будем предлагать более низкие затраты, по сравнению с традиционной инфраструктурой.

Applications that demand higher level of redundancy or temperature control will use configurations of Gen 4 to meet those needs, however, they will also cost more (but still less than traditional data centers). We see this cost difference driving engineering behavioral change in that we predict more applications will drive towards Geo redundancy to lower costs.

Системы, которым требуется более высокий уровень резервирования или температурного контроля, будут использовать конфигурации Gen 4, отвечающие этим требованиям, однако, они будут также стоить больше. Но все равно они будут стоить меньше, чем традиционные дата-центры. Мы предвидим, что эти различия в затратах будут вызывать изменения в методах инжиниринга, и по нашим прогнозам, это будет выражаться в переходе все большего числа систем на гео-избыточность и меньшие затраты.

Another cool thing about Gen 4 is that it allows us to deploy capacity when our demand dictates it. Once finalized, we will no longer need to make large upfront investments. Imagine driving capital costs more closely in-line with actual demand, thus greatly reducing time-to-market and adding the capacity Online inherent in the design. Also reduced is the amount of construction labor required to put these “building blocks” together. Since the entire platform requires pre-manufacture of its core components, on-site construction costs are lowered. This allows us to maximize our return on invested capital.

Еще одно достоинство Gen 4 состоит в том, что он позволяет нам разворачивать дополнительные мощности, когда нам это необходимо. Как только мы закончим проект, нам больше не нужно будет делать большие начальные капиталовложения. Представьте себе возможность более точного согласования капитальных затрат с реальными требованиями, и тем самым значительного снижения времени вывода на рынок и интерактивного добавления мощностей, предусматриваемого проектом. Также снижен объем строительных работ, требуемых для сборки этих “строительных блоков”. Поскольку вся платформа требует предварительного изготовления ее базовых компонентов, затраты на сборку также снижены. Это позволит нам увеличить до максимума окупаемость своих капиталовложений.
Мы все подвергаем сомнению

In our design process, we questioned everything. You may notice there is no roof and some might be uncomfortable with this. We explored the need of one and throughout our research we got some surprising (positive) results that showed one wasn’t needed.

В своем процессе проектирования мы все подвергаем сомнению. Вы, наверное, обратили внимание на отсутствие крыши, и некоторым специалистам это могло не понравиться. Мы изучили необходимость в крыше и в ходе своих исследований получили удивительные результаты, которые показали, что крыша не нужна.
Серийное производство дата центров

In short, we are striving to bring Henry Ford’s Model T factory to the data center. http://en.wikipedia.org/wiki/Henry_Ford#Model_T. Gen 4 will move data centers from a custom design and build model to a commoditized manufacturing approach. We intend to have our components built in factories and then assemble them in one location (the data center site) very quickly. Think about how a computer, car or plane is built today. Components are manufactured by different companies all over the world to a predefined spec and then integrated in one location based on demands and feature requirements. And just like Henry Ford’s assembly line drove the cost of building and the time-to-market down dramatically for the automobile industry, we expect Gen 4 to do the same for data centers. Everything will be pre-manufactured and assembled on the pad.

Мы хотим применить модель автомобильной фабрики Генри Форда к дата-центру. Проект Gen 4 будет способствовать переходу от модели специализированного проектирования и строительства к товарно-производственному, серийному подходу. Мы намерены изготавливать свои компоненты на заводах, а затем очень быстро собирать их в одном месте, в месте строительства дата-центра. Подумайте о том, как сегодня изготавливается компьютер, автомобиль или самолет. Компоненты изготавливаются по заранее определенным спецификациям разными компаниями во всем мире, затем собираются в одном месте на основе спроса и требуемых характеристик. И точно так же как сборочный конвейер Генри Форда привел к значительному уменьшению затрат на производство и времени вывода на рынок в автомобильной промышленности, мы надеемся, что Gen 4 сделает то же самое для дата-центров. Все будет предварительно изготавливаться и собираться на месте.
Невероятно энергоэффективный ЦОД

And did we mention that this platform will be, overall, incredibly energy efficient? From a total energy perspective not only will we have remarkable PUE values, but the total cost of energy going into the facility will be greatly reduced as well. How much energy goes into making concrete? Will we need as much of it? How much energy goes into the fuel of the construction vehicles? This will also be greatly reduced! A key driver is our goal to achieve an average PUE at or below 1.125 by 2012 across our data centers. More than that, we are on a mission to reduce the overall amount of copper and water used in these facilities. We believe these will be the next areas of industry attention when and if the energy problem is solved. So we are asking today…“how can we build a data center with less building”?

А мы упоминали, что эта платформа будет, в общем, невероятно энергоэффективной? С точки зрения общей энергии, мы получим не только поразительные значения PUE, но общая стоимость энергии, затраченной на объект будет также значительно снижена. Сколько энергии идет на производство бетона? Нам нужно будет столько энергии? Сколько энергии идет на питание инженерных строительных машин? Это тоже будет значительно снижено! Главным стимулом является достижение среднего PUE не больше 1.125 для всех наших дата-центров к 2012 году. Более того, у нас есть задача сокращения общего количества меди и воды в дата-центрах. Мы думаем, что эти задачи станут следующей заботой отрасли после того как будет решена энергетическая проблема. Итак, сегодня мы спрашиваем себя…“как можно построить дата-центр с меньшим объемом строительных работ”?
Строительство дата центров без чиллеров

We have talked openly and publicly about building chiller-less data centers and running our facilities using aggressive outside economization. Our sincerest hope is that Gen 4 will completely eliminate the use of water. Today’s data centers use massive amounts of water and we see water as the next scarce resource and have decided to take a proactive stance on making water conservation part of our plan.

Мы открыто и публично говорили о строительстве дата-центров без чиллеров и активном использовании в наших центрах обработки данных технологий свободного охлаждения или фрикулинга. Мы искренне надеемся, что Gen 4 позволит полностью отказаться от использования воды. Современные дата-центры расходуют большие объемы воды и так как мы считаем воду следующим редким ресурсом, мы решили принять упреждающие меры и включить экономию воды в свой план.

By sharing this with the industry, we believe everyone can benefit from our methodology. While this concept and approach may be intimidating (or downright frightening) to some in the industry, disclosure ultimately is better for all of us.

Делясь этим опытом с отраслью, мы считаем, что каждый сможет извлечь выгоду из нашей методологией. Хотя эта концепция и подход могут показаться пугающими (или откровенно страшными) для некоторых отраслевых специалистов, раскрывая свои планы мы, в конечном счете, делаем лучше для всех нас.

Gen 4 design (even more than just containers), could reduce the ‘religious’ debates in our industry. With the central spine infrastructure in place, containers or pre-manufactured server halls can be either AC or DC, air-side economized or water-side economized, or not economized at all (though the sanity of that might be questioned). Gen 4 will allow us to decommission, repair and upgrade quickly because everything is modular. No longer will we be governed by the initial decisions made when constructing the facility. We will have almost unlimited use and re-use of the facility and site. We will also be able to use power in an ultra-fluid fashion moving load from critical to non-critical as use and capacity requirements dictate.

Проект Gen 4 позволит уменьшить ‘религиозные’ споры в нашей отрасли. Располагая базовой инфраструктурой, контейнеры или сборные серверные могут оборудоваться системами переменного или постоянного тока, воздушными или водяными экономайзерами, или вообще не использовать экономайзеры. Хотя можно подвергать сомнению разумность такого решения. Gen 4 позволит нам быстро выполнять работы по выводу из эксплуатации, ремонту и модернизации, поскольку все будет модульным. Мы больше не будем руководствоваться начальными решениями, принятыми во время строительства дата-центра. Мы сможем использовать этот дата-центр и инфраструктуру в течение почти неограниченного периода времени. Мы также сможем применять сверхгибкие методы использования электрической энергии, переводя оборудование в режимы критической или некритической нагрузки в соответствии с требуемой мощностью.
Gen 4 – это стандартная платформа

Finally, we believe this is a big game changer. Gen 4 will provide a standard platform that our industry can innovate around. For example, all modules in our Gen 4 will have common interfaces clearly defined by our specs and any vendor that meets these specifications will be able to plug into our infrastructure. Whether you are a computer vendor, UPS vendor, generator vendor, etc., you will be able to plug and play into our infrastructure. This means we can also source anyone, anywhere on the globe to minimize costs and maximize performance. We want to help motivate the industry to further innovate—with innovations from which everyone can reap the benefits.

Наконец, мы уверены, что это будет фактором, который значительно изменит ситуацию. Gen 4 будет представлять собой стандартную платформу, которую отрасль сможет обновлять. Например, все модули в нашем Gen 4 будут иметь общепринятые интерфейсы, четко определяемые нашими спецификациями, и оборудование любого поставщика, которое отвечает этим спецификациям можно будет включать в нашу инфраструктуру. Независимо от того производите вы компьютеры, ИБП, генераторы и т.п., вы сможете включать свое оборудование нашу инфраструктуру. Это означает, что мы также сможем обеспечивать всех, в любом месте земного шара, тем самым сводя до минимума затраты и максимальной увеличивая производительность. Мы хотим создать в отрасли мотивацию для дальнейших инноваций – инноваций, от которых каждый сможет получать выгоду.
Главные характеристики дата-центров четвертого поколения Gen4

To summarize, the key characteristics of our Generation 4 data centers are:

Scalable
Plug-and-play spine infrastructure
Factory pre-assembled: Pre-Assembled Containers (PACs) & Pre-Manufactured Buildings (PMBs)
Rapid deployment
De-mountable
Reduce TTM
Reduced construction
Sustainable measures

Ниже приведены главные характеристики дата-центров четвертого поколения Gen 4:

Расширяемость;
Готовая к использованию базовая инфраструктура;
Изготовление в заводских условиях: сборные контейнеры (PAC) и сборные здания (PMB);
Быстрота развертывания;
Возможность демонтажа;
Снижение времени вывода на рынок (TTM);
Сокращение сроков строительства;
Экологичность;

Map applications to DC Class

We hope you join us on this incredible journey of change and innovation!

Long hours of research and engineering time are invested into this process. There are still some long days and nights ahead, but the vision is clear. Rest assured however, that we as refine Generation 4, the team will soon be looking to Generation 5 (even if it is a bit farther out). There is always room to get better.

Использование систем электропитания постоянного тока.

Мы надеемся, что вы присоединитесь к нам в этом невероятном путешествии по миру изменений и инноваций!

На этот проект уже потрачены долгие часы исследований и проектирования. И еще предстоит потратить много дней и ночей, но мы имеем четкое представление о конечной цели. Однако будьте уверены, что как только мы доведем до конца проект модульного дата-центра четвертого поколения, мы вскоре начнем думать о проекте дата-центра пятого поколения. Всегда есть возможность для улучшений.

So if you happen to come across Goldilocks in the forest, and you are curious as to why she is smiling you will know that she feels very good about getting very close to ‘JUST RIGHT’.

Generations of Evolution – some background on our data center designs

Так что, если вы встретите в лесу девочку по имени Лютик, и вам станет любопытно, почему она улыбается, вы будете знать, что она очень довольна тем, что очень близко подошла к ‘ОПИМАЛЬНОМУ РЕШЕНИЮ’.
Поколения эволюции – история развития наших дата-центров

We thought you might be interested in understanding what happened in the first three generations of our data center designs. When Ray Ozzie wrote his Software plus Services memo it posed a very interesting challenge to us. The winds of change were at ‘tornado’ proportions. That “plus Services” tag had some significant (and unstated) challenges inherent to it. The first was that Microsoft was going to evolve even further into an operations company. While we had been running large scale Internet services since 1995, this development lead us to an entirely new level. Additionally, these “services” would span across both Internet and Enterprise businesses. To those of you who have to operate “stuff”, you know that these are two very different worlds in operational models and challenges. It also meant that, to achieve the same level of reliability and performance required our infrastructure was going to have to scale globally and in a significant way.

Мы подумали, что может быть вам будет интересно узнать историю первых трех поколений наших центров обработки данных. Когда Рэй Оззи написал свою памятную записку Software plus Services, он поставил перед нами очень интересную задачу. Ветра перемен двигались с ураганной скоростью. Это окончание “plus Services” скрывало в себе какие-то значительные и неопределенные задачи. Первая заключалась в том, что Майкрософт собиралась в еще большей степени стать операционной компанией. Несмотря на то, что мы управляли большими интернет-сервисами, начиная с 1995 г., эта разработка подняла нас на абсолютно новый уровень. Кроме того, эти “сервисы” охватывали интернет-компании и корпорации. Тем, кому приходится всем этим управлять, известно, что есть два очень разных мира в области операционных моделей и задач. Это также означало, что для достижения такого же уровня надежности и производительности требовалось, чтобы наша инфраструктура располагала значительными возможностями расширения в глобальных масштабах.

It was that intense atmosphere of change that we first started re-evaluating data center technology and processes in general and our ideas began to reach farther than what was accepted by the industry at large. This was the era of Generation 1. As we look at where most of the world’s data centers are today (and where our facilities were), it represented all the known learning and design requirements that had been in place since IBM built the first purpose-built computer room. These facilities focused more around uptime, reliability and redundancy. Big infrastructure was held accountable to solve all potential environmental shortfalls. This is where the majority of infrastructure in the industry still is today.

Именно в этой атмосфере серьезных изменений мы впервые начали переоценку ЦОД-технологий и технологий вообще, и наши идеи начали выходить за пределы общепринятых в отрасли представлений. Это была эпоха ЦОД первого поколения. Когда мы узнали, где сегодня располагается большинство мировых дата-центров и где находятся наши предприятия, это представляло весь опыт и навыки проектирования, накопленные со времени, когда IBM построила первую серверную. В этих ЦОД больше внимания уделялось бесперебойной работе, надежности и резервированию. Большая инфраструктура была призвана решать все потенциальные экологические проблемы. Сегодня большая часть инфраструктуры все еще находится на этом этапе своего развития.

We soon realized that traditional data centers were quickly becoming outdated. They were not keeping up with the demands of what was happening technologically and environmentally. That’s when we kicked off our Generation 2 design. Gen 2 facilities started taking into account sustainability, energy efficiency, and really looking at the total cost of energy and operations.

Очень быстро мы поняли, что стандартные дата-центры очень быстро становятся устаревшими. Они не поспевали за темпами изменений технологических и экологических требований. Именно тогда мы стали разрабатывать ЦОД второго поколения. В этих дата-центрах Gen 2 стали принимать во внимание такие факторы как устойчивое развитие, энергетическая эффективность, а также общие энергетические и эксплуатационные.

No longer did we view data centers just for the upfront capital costs, but we took a hard look at the facility over the course of its life. Our Quincy, Washington and San Antonio, Texas facilities are examples of our Gen 2 data centers where we explored and implemented new ways to lessen the impact on the environment. These facilities are considered two leading industry examples, based on their energy efficiency and ability to run and operate at new levels of scale and performance by leveraging clean hydro power (Quincy) and recycled waste water (San Antonio) to cool the facility during peak cooling months.

Мы больше не рассматривали дата-центры только с точки зрения начальных капитальных затрат, а внимательно следили за работой ЦОД на протяжении его срока службы. Наши объекты в Куинси, Вашингтоне, и Сан-Антонио, Техас, являются образцами наших ЦОД второго поколения, в которых мы изучали и применяли на практике новые способы снижения воздействия на окружающую среду. Эти объекты считаются двумя ведущими отраслевыми примерами, исходя из их энергетической эффективности и способности работать на новых уровнях производительности, основанных на использовании чистой энергии воды (Куинси) и рециклирования отработанной воды (Сан-Антонио) для охлаждения объекта в самых жарких месяцах.

As we were delivering our Gen 2 facilities into steel and concrete, our Generation 3 facilities were rapidly driving the evolution of the program. The key concepts for our Gen 3 design are increased modularity and greater concentration around energy efficiency and scale. The Gen 3 facility will be best represented by the Chicago, Illinois facility currently under construction. This facility will seem very foreign compared to the traditional data center concepts most of the industry is comfortable with. In fact, if you ever sit around in our container hanger in Chicago it will look incredibly different from a traditional raised-floor data center. We anticipate this modularization will drive huge efficiencies in terms of cost and operations for our business. We will also introduce significant changes in the environmental systems used to run our facilities. These concepts and processes (where applicable) will help us gain even greater efficiencies in our existing footprint, allowing us to further maximize infrastructure investments.

Так как наши ЦОД второго поколения строились из стали и бетона, наши центры обработки данных третьего поколения начали их быстро вытеснять. Главными концептуальными особенностями ЦОД третьего поколения Gen 3 являются повышенная модульность и большее внимание к энергетической эффективности и масштабированию. Дата-центры третьего поколения лучше всего представлены объектом, который в настоящее время строится в Чикаго, Иллинойс. Этот ЦОД будет выглядеть очень необычно, по сравнению с общепринятыми в отрасли представлениями о дата-центре. Действительно, если вам когда-либо удастся побывать в нашем контейнерном ангаре в Чикаго, он покажется вам совершенно непохожим на обычный дата-центр с фальшполом. Мы предполагаем, что этот модульный подход будет способствовать значительному повышению эффективности нашего бизнеса в отношении затрат и операций. Мы также внесем существенные изменения в климатические системы, используемые в наших ЦОД. Эти концепции и технологии, если применимо, позволят нам добиться еще большей эффективности наших существующих дата-центров, и тем самым еще больше увеличивать капиталовложения в инфраструктуру.

This is definitely a journey, not a destination industry. In fact, our Generation 4 design has been under heavy engineering for viability and cost for over a year. While the demand of our commercial growth required us to make investments as we grew, we treated each step in the learning as a process for further innovation in data centers. The design for our future Gen 4 facilities enabled us to make visionary advances that addressed the challenges of building, running, and operating facilities all in one concerted effort.

Это определенно путешествие, а не конечный пункт назначения. На самом деле, наш проект ЦОД четвертого поколения подвергался серьезным испытаниям на жизнеспособность и затраты на протяжении целого года. Хотя необходимость в коммерческом росте требовала от нас постоянных капиталовложений, мы рассматривали каждый этап своего развития как шаг к будущим инновациям в области дата-центров. Проект наших будущих ЦОД четвертого поколения Gen 4 позволил нам делать фантастические предположения, которые касались задач строительства, управления и эксплуатации объектов как единого упорядоченного процесса.

Тематики

• ЦОДы (центры обработки данных)

Синонимы

• модульный ЦОД

EN

• modular data center

управление электропитанием
-
[Интент]

Управление электропитанием ЦОД

Автор: Жилкина Наталья
Опубликовано 23 апреля 2009 года

Источники бесперебойного питания, функционирующие в ЦОД, составляют важный элемент общей системы его энергообеспечения. Вписываясь в контур управления ЦОД, система мониторинга и управления ИБП становится ядром для реализации эксплуатационных функций.

Три задачи

Системы мониторинга, диагностики и управления питанием нагрузки решают три основные задачи: позволяют ИБП выполнять свои функции, оповещать персонал о происходящих с ними событиях и посылать команды для автоматического завершения работы защищаемого устройства.

Мониторинг параметров ИБП предполагает отображение и протоколирование состояния устройства и всех событий, связанных с его изменением. Диагностика реализуется функциями самотестирования системы. Управляющие же функции предполагают активное вмешательство в логику работы устройства.

Многие специалисты этого рынка, отмечая важность процедуры мониторинга, считают, что управление должно быть сведено к минимуму. «Функция управления ИБП тоже нужна, но скорее факультативно, — говорит Сергей Ермаков, технический директор компании Inelt и эксперт в области систем Chloride. — Я глубоко убежден, что решения об активном управляющем вмешательстве в работу систем защиты электропитания ответственной нагрузки должен принимать человек, а не автоматизированная система. Завершение работы современных мощных серверов, на которых функционируют ответственные приложения, — это, как правило, весьма длительный процесс. ИБП зачастую не способны обеспечивать необходимое для него время, не говоря уж о времени запуска какого-то сервиса». Функция же мониторинга позволяет предотвратить наступление нежелательного события — либо, если таковое произошло, проанализировать его причины, опираясь не на слова, а на запротоколированные данные, хранящиеся в памяти адаптера или файлах на рабочей станции мониторинга.

Эту точку зрения поддерживает и Алексей Сарыгин, технический директор компании Radius Group: «Дистанционное управление мощных ИБП — это вопрос, к которому надо подходить чрезвычайно аккуратно. Если функции дистанционного мониторинга и диспетчеризации необходимы, то практика предоставления доступа персоналу к функциям дистанционного управления представляется радикально неверной. Доступность модулей управления извне потенциально несет в себе риск нарушения безопасности и категорически снижает надежность системы. Если существует физическая возможность дистанционно воздействовать на ИБП, на его параметры, отключение, снятие нагрузки, закрытие выходных тиристорных ключей или блокирование цепи байпаса, то это чревато потерей питания всего ЦОД».

Практически на всех трехфазных ИБП предусмотрена кнопка E.P.O. (Emergency Power Off), дублер которой может быть выведен на пульт управления диспетчерской. Она обеспечивает аварийное дистанционное отключение блоков ИБП при наступлении аварийных событий. Это, пожалуй, единственная возможность обесточить нагрузку, питаемую от трехфазного аппарата, но реализуется она в исключительных случаях.

Что же касается диагностики электропитания, то, как отмечает Юрий Копылов, технический директор московского офиса корпорации Eaton, в последнее время характерной тенденцией в управляющем программном обеспечении стал отказ от предоставления функций удаленного тестирования батарей даже системному администратору.

— Адекватно сравнивать состояние батарей необходимо под нагрузкой, — говорит он, — сам тест запускать не чаще чем раз в два дня, а разряжать батареи надо при одном и том же токе и уровне нагрузки. К тому же процесс заряда — довольно долгий. Все это не идет батареям на пользу.

Средства мониторинга

Производители ИБП предоставляют, как правило, сразу несколько средств мониторинга и в некоторых случаях даже управления ИБП — все они основаны на трех основных методах.

В первом случае устройство подключается напрямую через интерфейс RS-232 (Com-порт) к консоли администратора. Дальность такого подключения не превышает 15 метров, но может быть увеличена с помощью конверторов RS-232/485 и RS-485/232 на концах провода, связывающего ИБП с консолью администратора. Такой способ обеспечивает низкую скорость обмена информацией и пригоден лишь для топологии «точка — точка».

Второй способ предполагает использование SNMP-адаптера — встроенной или внешней интерфейсной карты, позволяющей из любой точки локальной сети получить информацию об основных параметрах ИБП. В принципе, для доступа к ИБП через SNMP достаточно веб-браузера. Однако для большего комфорта производители оснащают свои системы более развитым графическим интерфейсом, обеспечивающим функции мониторинга и корректного завершения работы. На базе SNMP-протокола функционируют все основные системы мониторинга и управления ИБП, поставляемые штатно или опционально вместе с ИБП.

Стандартные SNMP-адаптеры поддерживают подключение нескольких аналоговых или пороговых устройств — датчик температуры, движения, открытия двери и проч. Интеграция таких устройств в общую систему мониторинга крупного объекта (например, дата-центра) позволяет охватить огромное количество точек наблюдения и отразить эту информацию на экране диспетчера.

Большое удобство предоставляет метод эксплуатационного удаленного контроля T.SERVICE, позволяющий отследить работу оборудования посредством телефонной линии (через модем GSM) или через Интернет (с помощью интерфейса Net Vision путем рассылки e-mail на электронный адрес потребителя). T.SERVICE обеспечивает диагностирование оборудования в режиме реального времени в течение 24 часов в сутки 365 дней в году. ИБП автоматически отправляет в центр технического обслуживания регулярные отчеты или отчеты при обнаружении неисправности. В зависимости от контролируемых параметров могут отправляться уведомления о неправильной эксплуатации (с пользователем связывается опытный специалист и рекомендует выполнить простые операции для предотвращения ухудшения рабочих характеристик оборудования) или о наличии отказа (пользователь информируется о состоянии устройства, а на место установки немедленно отправляется технический специалист).

Профессиональное мнение

Наталья Маркина, коммерческий директор представительства компании SOCOMEC

Управляющее ПО фирмы SOCOMEC легко интегрируется в общий контур управления инженерной инфраструктурой ЦОД посредством разнообразных интерфейсов передачи данных ИБП. Установленное в аппаратной или ЦОД оборудование SOCOMEC может дистанционно обмениваться информацией о своих рабочих параметрах с системами централизованного управления и компьютерными сетями посредством сухих контактов, последовательных портов RS232, RS422, RS485, а также через интерфейс MODBUS TCP и GSS.

Интерфейс GSS предназначен для коммуникации с генераторными установками и включает в себя 4 входа (внешние контакты) и 1 выход (60 В). Это позволяет программировать особые процедуры управления, Global Supply System, которые обеспечивают полную совместимость ИБП с генераторными установками.

У компании Socomec имеется широкий выбор интерфейсов и коммуникационного программного обеспечения для установки диалога между ИБП и удаленными системами мониторинга промышленного и компьютерного оборудования. Такие опции связи, как панель дистанционного управления, интерфейс ADC (реконфигурируемые сухие контакты), обеспечивающий ввод и вывод данных при помощи сигналов сухих контактов, интерфейсы последовательной передачи данных RS232, RS422, RS485 по протоколам JBUS/MODBUS, PROFIBUS или DEVICENET, MODBUS TCP (JBUS/MODBUS-туннелирование), интерфейс NET VISION для локальной сети Ethernet, программное обеспечение TOP VISION для выполнения мониторинга с помощью рабочей станции Windows XP PRO — все это позволяет контролировать работу ИБП удобным для пользователя способом.

Весь контроль управления ИБП, ДГУ, контроль окружающей среды сводится в единый диспетчерский пункт посредством протоколов JBUS/MODBUS.
 

Индустриальный подход

Третий метод основан на использовании высокоскоростной индустриальной интерфейсной шины: CANBus, JBus, MODBus, PROFIBus и проч. Некоторые модели ИБП поддерживают разновидность универсального smart-слота для установки как карточек SNMP, так и интерфейсной шины. Система мониторинга на базе индустриальной шины может быть интегрирована в уже существующую промышленную SCADA-систему контроля и получения данных либо создана как заказное решение на базе многофункциональных стандартных контроллеров с выходом на шину. Промышленная шина через шлюзы передает информацию на удаленный диспетчерский пункт или в систему управления зданием (Building Management System, BMS). В эту систему могут быть интегрированы и контроллеры, управляющие ИБП.

Универсальные SCADA-системы поддерживают датчики и контроллеры широкого перечня производителей, но они недешевы и к тому же неудобны для внесения изменений. Но если подобная система уже функционирует на объекте, то интеграция в нее дополнительных ИБП не представляет труда.

Сергей Ермаков, технический директор компании Inelt, считает, что применение универсальных систем управления на базе промышленных контроллеров нецелесообразно, если используется для мониторинга только ИБП и ДГУ. Один из практичных подходов — создание заказной системы, с удобной для заказчика графической оболочкой и необходимым уровнем детализации — от карты местности до поэтажного плана и погружения в мнемосхему компонентов ИБП.

— ИБП может передавать одинаковое количество информации о своем состоянии и по прямому соединению, и по SNMP, и по Bus-шине, — говорит Сергей Ермаков. — Применение того или иного метода зависит от конкретной задачи и бюджета. Создав первоначально систему UPS Look для мониторинга ИБП, мы интегрировали в нее систему мониторинга ДГУ на основе SNMP-протокола, после чего по желанию одного из заказчиков конвертировали эту систему на промышленную шину Jbus. Новое ПО JSLook для мониторинга неограниченного количества ИБП и ДГУ по протоколу JBus является полнофункциональным средством мониторинга всей системы электроснабжения объекта.

Профессиональное мение

Денис Андреев, руководитель департамента ИБП компании Landata

Практически все ИБП Eaton позволяют использовать коммуникационную Web-SNMP плату Connect UPS и датчик EMP (Environmental Monitoring Probe). Такой комплект позволяет в числе прочего осуществлять мониторинг температуры, влажности и состояния пары «сухих» контактов, к которым можно подключить внешние датчики.

Решение Eaton Environmental Rack Monitor представляет собой аналог такой связки, но с существенно более широким функционалом. Внешне эта система мониторинга температуры, влажности и состояния «сухих» контактов выполнена в виде компактного устройства, которое занимает минимум места в шкафу или в помещении.

Благодаря наличию у Eaton Environmental Rack Monitor (ERM) двух выходов датчики температуры или влажности можно разместить в разных точках стойки или помещения. Поскольку каждый из двух датчиков имеет еще по два сухих контакта, с них дополнительно можно принимать сигналы от датчиков задымления, утечки и проч. В центре обработки данных такая недорогая система ERM, состоящая из неограниченного количества датчиков, может транслировать информацию по протоколу SNMP в HTML-страницу и позволяет, не приобретая специального ПО, получить сводную таблицу измеряемых величин через веб-браузер.

Проблему дефицита пространства и высокой плотности размещения оборудования в серверных и ЦОД решают системы распределения питания линейки Eaton eDPU, которые можно установить как внутри стойки, так и на группу стоек.

Все модели этой линейки представляют четыре семейства: системы базового исполнения, системы с индикацией потребляемого тока, с мониторингом (локальным и удаленным, по сети) и управляемые, с возможностью мониторинга и управления электропитанием вплоть до каждой розетки. С помощью этих устройств можно компактным способом увеличить количество розеток в одной стойке, обеспечить контроль уровня тока и напряжения критичной нагрузки.

Контроль уровня потребляемой мощности может осуществляться с высокой степенью детализации, вплоть до сервера, подключенного к конкретной розетке. Это позволяет выяснить, какой сервер перегревается, где вышел из строя вентилятор, блок питания и т. д. Программным образом можно запустить сервер, подключенный к розетке ePDU. Интеграция системы контроля ePDU в платформу управления Eaton находится в процессе реализации.

Требование объекта

Как поясняет Олег Письменский, в критичных объектах, таких как ЦОД, можно условно выделить две области контроля и управления. Первая, Grey Space, — это собственно здание и соответствующая система его энергообеспечения и энергораспределения. Вторая, White Space, — непосредственно машинный зал с его системами.

Выбор системы управления энергообеспечением ЦОД определяется типом объекта, требуемым функционалом системы управления и отведенным на эти цели бюджетом. В большинстве случаев кратковременная задержка между наступлением события и получением информации о нем системой мониторинга по SNMP-протоколу допустима. Тем не менее в целом ряде случаев, если характеристики объекта подразумевают непрерывность его функционирования, объект является комплексным и содержит большое количество элементов, требующих контроля и управления в реальном времени, ни одна стандартная система SNMP-мониторинга не обеспечит требуемого функционала. Для таких объектов применяют системы управления real-time, построенные на базе программно-аппаратных комплексов сбора данных, в том числе c функциями Softlogic.

Системы диспетчеризации и управления крупными объектами реализуются SCADA-системами, широкий перечень которых сегодня присутствует на рынке; представлены они и в портфеле решений Schneider Electric. Тип SCADA-системы зависит от класса и размера объекта, от количества его элементов, требующих контроля и управления, от уровня надежности. Частный вид реализации SCADA — это BMS-система(Building Management System).

«Дата-центры с объемом потребляемой мощности до 1,5 МВт и уровнем надежности Tier I, II и, с оговорками, даже Tier III, могут обслуживаться без дополнительной SCADA-системы, — говорит Олег Письменский. — На таких объектах целесообразно применять ISX Central — программно-аппаратный комплекс, использующий SNMP. Если же категория и мощность однозначно предполагают непрерывность управления, в таких случаях оправданна комбинация SNMP- и SCADA-системы. Например, для машинного зала (White Space) применяется ISX Central с возможными расширениями как Change & Capacity Manager, в комбинации со SCADA-системой, управляющей непосредственно объектом (Grey Space)».

Профессиональное мнение

Олег Письменский, директор департамента консалтинга APC by Schneider Electric в России и СНГ

Подход APC by Schneider Electric к реализации полномасштабного полноуправляемого и надежного ЦОД изначально был основан на базисных принципах управления ИТ-инфраструктурой в рамках концепции ITIL/ITSM. И история развития системы управления инфраструктурой ЦОД ISX Manager, которая затем интегрировалась с программно-аппаратным комплексом NetBotz и трансформировалась в портал диспетчеризации ISX Central, — лучшее тому доказательство.

Первым итогом поэтапного приближения к намеченной цели стало наращивание функций контроля параметров энергообеспечения. Затем в этот контур подключилась система управления кондиционированием, система контроля параметров окружающей среды. Очередным шагом стало измерение скорости воздуха, влажности, пыли, радиации, интеграция сигналов от камер аудио- и видеонаблюдения, системы управления блоками розеток, завершения работы сервера и т. д.

Эта система не может и не должна отвечать абсолютно всем принципам ITSM, потому что не все они касаются существа поставленной задачи. Но как только в отношении политик и некоторых тактик управления емкостью и изменениями в ЦОД потребовался соответствующий инструментарий — это нашло отражение в расширении функционала ISX Central, который в настоящее время реализуют ПО APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager. С появлением этих двух решений, интегрированных в систему управления реальным объектом, АРС предоставляет возможность службе эксплуатации оптимально планировать изменения количественного и качественного состава оборудования машинного зала — как на ежедневном оперативном уровне, так и на уровне стратегических задач массовых будущих изменений.

Решение APC by Schneider Electric Capacity обеспечивает автоматизированную обработку информации о свободных ресурсах инженерной инфраструктуры, реальном потреблении мощности и пространстве в стойках. Обращаясь к серверу ISX Central, системы APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager оценивают степень загрузки ИБП и систем охлаждения InRow, прогнозируют воздействие предполагаемых изменений и предлагают оптимальное место для установки нового или перестановки имеющегося оборудования. Новые решения позволяют, выявив последствия от предполагаемых изменений, правильно спланировать замену оборудования в ЦОД.

Переход от частного к общему может потребовать интеграции ISX Central в такие, например, порталы управления, как Tivoli или Open View. Возможны и другие сценарии, когда ISX Central вписывается и в SCADA–систему. В этом случае ISX Central выполняет роль диспетчерской настройки, функционал которой распространяется на серверную комнату, но не охватывает целиком периметр объекта.

Случай из практики

Решение задачи управления энергообеспечением ЦОД иногда вступает в противоречие с правилами устройств электроустановок (ПУЭ). Может оказаться, что в соответствии с ПУЭ в ряде случаев (например, при компоновке щитов ВРУ) необходимо обеспечить механические блокировки. Однако далеко не всегда это удается сделать. Поэтому такая задача часто требует нетривиального решения.

— В одном из проектов, — вспоминает Алексей Сарыгин, — где система управления включала большое количество точек со взаимными пересечениями блокировок, требовалось не допустить снижения общей надежности системы. В этом случае мы пришли к осознанному компромиссу, сделали систему полуавтоматической. Там, где это было возможно, присутствовали механические блокировки, за пультом дежурной смены были оставлены функции мониторинга и анализа, куда сводились все данные о положении всех автоматов. Но исполнительную часть вывели на отдельную панель управления уже внутри ВРУ, где были расположены подробные пользовательские инструкции по оперативному переключению. Таким образом мы избавились от излишней автоматизации, но постарались минимизировать потери в надежности и защититься от ошибок персонала.

[ http://www.computerra.ru/cio/old/products/infrastructure/421312/]

Тематики

• ЦОДы (центры обработки данных)

EN

• power management

трехфазный ИБП
-
[Интент]

Глава 7. Трехфазные ИБП

... ИБП большой мощности (начиная примерно с 10 кВА) как правило предназначены для подключения к трехфазной электрической сети. Диапазон мощностей 8-25 кВА – переходный. Для такой мощности делают чисто однофазные ИБП, чисто трехфазные ИБП и ИБП с трехфазным входом и однофазным выходом. Все ИБП, начиная примерно с 30 кВА имеют трехфазный вход и трехфазный выход. Трехфазные ИБП имеют и другое преимущество перед однофазными ИБП. Они эффективно разгружают нейтральный провод от гармоник тока и способствуют более безопасной и надежной работе больших компьютерных систем. Эти вопросы рассмотрены в разделе "Особенности трехфазных источников бесперебойного питания" главы 8. Трехфазные ИБП строятся обычно по схеме с двойным преобразованием энергии. Поэтому в этой главе мы будем рассматривать только эту схему, несмотря на то, что имеются трехфазные ИБП, построенные по схеме, похожей на ИБП, взаимодействующий с сетью.

Схема трехфазного ИБП с двойным преобразованием энергии приведена на рисунке 18.

Рис.18. Трехфазный ИБП с двойным преобразованием энергии

Как видно, этот ИБП не имеет почти никаких отличий на уровне блок-схемы, за исключением наличия трех фаз. Для того, чтобы увидеть отличия от однофазного ИБП с двойным преобразованием, нам придется (почти впервые в этой книге) несколько подробнее рассмотреть элементы ИБП. Мы будем проводить это рассмотрение, ориентируясь на традиционную технологию. В некоторых случаях будут отмечаться схемные особенности, позволяющие улучшить характеристики.

Выпрямитель

Слева на рис 18. – входная электрическая сеть. Она включает пять проводов: три фазных, нейтраль и землю. Между сетью и ИБП – предохранители (плавкие или автоматические). Они позволяют защитить сеть от аварии ИБП. Выпрямитель в этой схеме – регулируемый тиристорный. Управляющая им схема изменяет время (долю периода синусоиды), в течение которого тиристоры открыты, т.е. выпрямляют сетевое напряжение. Чем большая мощность нужна для работы ИБП, тем дольше открыты тиристоры. Если батарея ИБП заряжена, на выходе выпрямителя поддерживается стабилизированное напряжение постоянного тока, независимо от нвеличины напряжения в сети и мощности нагрузки. Если батарея требует зарядки, то выпрямитель регулирует напряжение так, чтобы в батарею тек ток заданной величины.

Такой выпрямитель называется шести-импульсным, потому, что за полный цикл трехфазной электрической сети он выпрямляет 6 полупериодов сингусоиды (по два в каждой из фаз). Поэтому в цепи постоянного тока возникает 6 импульсов тока (и напряжения) за каждый цикл трехфазной сети. Кроме того, во входной электрической сети также возникают 6 импульсов тока, которые могут вызвать гармонические искажения сетевого напряжения. Конденсатор в цепи постоянного тока служит для уменьшения пульсаций напряжения на аккумуляторах. Это нужно для полной зарядки батареи без протекания через аккумуляторы вредных импульсных токов. Иногда к конденсатору добавляется еще и дроссель, образующий совместно с конденсатором L-C фильтр.

Коммутационный дроссель ДР уменьшает импульсные токи, возникающие при открытии тиристоров и служит для уменьшения искажений, вносимых выпрямителем в электрическую сеть. Для еще большего снижения искажений, вносимых в сеть, особенно для ИБП большой мощности (более 80-150 кВА) часто применяют 12-импульсные выпрямители. Т.е. за каждый цикл трехфазной сети на входе и выходе выпрямителя возникают 12 импульсов тока. За счет удвоения числа импульсов тока, удается примерно вдвое уменьшить их амплитуду. Это полезно и для аккумуляторов и для электрической сети.

Двенадцати-импульсный выпрямитель фактически состоит из двух 6-импульсных выпрямителей. На вход второго выпрямителя (он изображен ниже на рис. 18) подается трехфазное напряжение, прошедшее через трансформатор, сдвигающий фазу на 30 градусов.

В настоящее время применяются также и другие схемы выпрямителей трехфазных ИБП. Например схема с пассивным (диодным) выпрямителем и преобразователем напряжения постоянного тока, применение которого позволяет приблизить потребляемый ток к синусоидальному.

Наиболее современным считается транзисторный выпрямитель, регулируемый высокочастотной схемой широтно-импульсной модуляции (ШИМ). Применение такого выпрямителя позволяет сделать ток потребления ИБП синусоидальным и совершенно отказаться от 12-импульсных выпрямителей с трансформатором.

Батарея

Для формирования батареи трехфазных ИБП (как и в однофазных ИБП) применяются герметичные свинцовые аккумуляторы. Обычно это самые распространенные модели аккумуляторов с расчетным сроком службы 5 лет. Иногда используются и более дорогие аккумуляторы с большими сроками службы. В некоторых трехфазных ИБП пользователю предлагается фиксированный набор батарей или батарейных шкафов, рассчитанных на различное время работы на автономном режиме. Покупая ИБП других фирм, пользователь может более или менее свободно выбирать батарею своего ИБП (включая ее емкость, тип и количество элементов). В некоторых случаях батарея устанавливается в корпус ИБП, но в большинстве случаев, особенно при большой мощности ИБП, она устанавливается в отдельном корпусе, а иногда и в отдельном помещении.

Инвертор

Как и в ИБП малой мощности, в трехфазных ИБП применяются транзисторные инверторы, управляемые схемой широтно-импульсной модуляции (ШИМ). Некоторые ИБП с трехфазным выходом имеют два инвертора. Их выходы подключены к трансформаторам, сдвигающим фазу выходных напряжений. Даже в случае применения относительно низкочастоной ШИМ, такая схема совместно с применением фильтра переменного тока, построенного на трансформаторе и конденсаторах, позволяет обеспечить очень малый коэффициент гармонических искажений на выходе ИБП (до 3% на линейной нагрузке). Применение двух инверторов увеличивает надежность ИБП, поскольку даже при выходе из строя силовых транзисторов одного из инверторов, другой инвертор обеспечит работу нагрузки, пусть даже при большем коэффициенте гармонических искажений.

В последнее время, по мере развития технологии силовых полупроводников, начали применяться более высокочастотные транзисторы. Частота ШИМ может составлять 4 и более кГц. Это позволяет уменьшить гармонические искажения выходного напряжения и отказаться от применения второго инвертора. В хороших ИБП существуют несколько уровней защиты инвертора от перегрузки. При небольших перегрузках инвертор может уменьшать выходное напряжение (пытаясь снизить ток, проходящий через силовые полупроводники). Если перегрузка очень велика (например нагрузка составляет более 125% номинальной), ИБП начинает отсчет времени работы в условиях перегрузки и через некоторое время (зависящее от степени перегрузки – от долей секунды до минут) переключается на работу через статический байпас. В случае большой перегрузки или короткого замыкания, переключение на статический байпас происходит сразу.

Некоторые современные высококлассные ИБП (с высокочакстотной ШИМ) имеют две цепи регулирования выходного напряжения. Первая из них осуществляет регулирование среднеквадратичного (действующего) значения напряжения, независимо для каждой из фаз. Вторая цепь измеряет мгновенные значения выходного напряжения и сравнивает их с хранящейся в памяти блока управления ИБП идеальной синусоидой. Если мгновенное значение напряжения отклонилось от соотвествующего "идеального" значения, то вырабатывается корректирующий импульс и форма синусоиды выходного напряжения исправляется. Наличие второй цепи обратной связи позволяет обеспечить малые искажения формы выходного напряжения даже при нелинейных нагрузках.

Статический байпас

Блок статического байпаса состоит из двух трехфазных (при трехфазном выходе) тиристорных переключателей: статического выключателя инвертора (на схеме – СВИ) и статического выключателя байпаса (СВБ). При нормальной работе ИБП (от сети или от батареи) статический выключатель инвертора замкнут, а статический выключатель байпаса разомкнут. Во время значительных перегрузок или выхода из строя инвертора замкнут статический переключатель байпаса, переключатель инвертора разомкнут. В момент переключения оба статических переключателя на очень короткое время замкнуты. Это позволяет обеспечить безразрывное питание нагрузки.

Каждая модель ИБП имеет свою логику управления и, соответственно, свой набор условий срабатывания статических переключателей. При покупке ИБП бывает полезно узнать эту логику и понять, насколько она соответствует вашей технологии работы. В частности хорошие ИБП сконструированы так, чтобы даже если байпас недоступен (т.е. отсутствует синхронизация инвертора и байпаса – см. главу 6) в любом случае постараться обеспечить электроснабжение нагрузки, пусть даже за счет уменьшения напряжения на выходе инвертора.

Статический байпас ИБП с трехфазным входом и однофазным выходом имеет особенность. Нагрузка, распределенная на входе ИБП по трем фазным проводам, на выходе имеет только два провода: один фазный и нейтральный. Статический байпас тоже конечно однофазный, и синхронизация напряжения инвертора производится относительно одной из фаз трехфазной сети (любой, по выбору пользователя). Вся цепь, подводящая напряжение к входу статического байпаса должна выдерживать втрое больший ток, чем входной кабель выпрямителя ИБП. В ряде случаев это может вызвать трудности с проводкой.

Сервисный байпас

Трехфазные ИБП имеют большую мощность и обычно устанавливаются в местах действительно критичных к электропитанию. Поэтому в случае выхода из строя какого-либо элемента ИБП или необходимости проведения регламентных работ (например замены батареи), в большинстве случае нельзя просто выключить ИБП или поставить на его место другой. Нужно в любой ситуации обеспечить электропитание нагрузки. Для этих ситуаций у всех трехфазных ИБП имеется сервисный байпас. Он представляет собой ручной переключатель (иногда как-то заблокированный, чтобы его нельзя было включить по ошибке), позволяющий переключить нагрузку на питание непосредственно от сети. У большинства ИБП для переключения на сервисный байпас существует специальная процедура (определенная последовательность действий), которая позволяет обеспечит непрерывность питания при переключениях.

Режимы работы трехфазного ИБП с двойным преобразованием

Трехфазный ИБП может работать на четырех режимах работы.

• При нормальной работе нагрузка питается по цепи выпрямитель-инвертор стабилизированным напряжением, отфильтрованным от импульсов и шумов за счет двойного преобразования энергии.
• Работа от батареи. На это режим ИБП переходит в случае, если напряжение на выходе ИБП становится таким маленьким, что выпрямитель оказывается не в состоянии питать инвертор требуемым током, или выпрямитель не может питать инвертор по другой причине, например из-за поломки. Продолжительность работы ИБП от батареи зависит от емкости и заряда батареи, а также от нагрузки ИБП.
• Когда какой-нибудь инвертор выходит из строя или испытывает перегрузку, ИБП безразрывно переходит на режим работы через статический байпас. Нагрузка питается просто от сети через вход статического байпаса, который может совпадать или не совпадать со входом выпрямителя ИБП.
• Если требуется обслуживание ИБП, например для замены батареи, то ИБП переключают на сервисный байпас. Нагрузка питается от сети, а все цепи ИБП, кроме входного выключателя сервисного байпаса и выходных выключателей отделены от сети и от нагрузки. Режим работы на сервисном байпасе не является обязательным для небольших однофазных ИБП с двойным преобразованием. Трехфазный ИБП без сервисного байпаса немыслим.

Надежность

Трехфазные ИБП обычно предназначаются для непрерывной круглосуточной работы. Работа нагрузки должна обеспечиваться практически при любых сбоях питания. Поэтому к надежности трехфазных ИБП предъявляются очень высокие требования. Вот некоторые приемы, с помощью которых производители трехфазных ИБП могут увеличивать надежность своей продукции. Применение разделительных трансформаторов на входе и/или выходе ИБП увеличивает устойчивость ИБП к скачкам напряжения и нагрузки. Входной дроссель не только обеспечивает "мягкий запуск", но и защищает ИБП (и, в конечном счете, нагрузку) от очень быстрых изменений (скачков) напряжения.

Обычно фирма выпускает целый ряд ИБП разной мощности. В двух или трех "соседних по мощности" ИБП этого ряда часто используются одни и те же полупроводники. Если это так, то менее мощный из этих двух или трех ИБП имеет запас по предельному току, и поэтому несколько более надежен. Некоторые трехфазные ИБП имеют повышенную надежность за счет резервирования каких-либо своих цепей. Так, например, могут резервироваться: схема управления (микропроцессор + платы "жесткой логики"), цепи управления силовыми полупроводниками и сами силовые полупроводники. Батарея, как часть ИБП тоже вносит свой вклад в надежность прибора. Если у ИБП имеется возможность гибкого выбора батареи, то можно выбрать более надежный вариант (батарея более известного производителя, с меньшим числом соединений).

Преобразователи частоты

Частота напряжения переменного тока в электрических сетях разных стран не обязательно одинакова. В большинстве стран (в том числе и в России) распространена частота 50 Гц. В некоторых странах (например в США) частота переменного напряжения равна 60 Гц. Если вы купили оборудование, рассчитанное на работу в американской электрической сети (110 В, 60 Гц), то вы должны каким-то образом приспособить к нему нашу электрическую сеть. Преобразование напряжения не является проблемой, для этого есть трансформаторы. Если оборудование оснащено импульсным блоком питания, то оно не чувствительно к частоте и его можно использовать в сети с частотой 50 Гц. Если же в состав оборудования входят синхронные электродвигатели или иное чувствительное к частоте оборудование, вам нужен преобразователь частоты. ИБП с двойным преобразованием энергии представляет собой почти готовый преобразователь частоты.

В самом деле, ведь выпрямитель этого ИБП может в принципе работать на одной частоте, а инвертор выдавать на своем выходе другую. Есть только одно принципиальное ограничение: невозможность синхронизации инвертора с линией статического байпаса из-за разных частот на входе и выходе. Это делает преобразователь частоты несколько менее надежным, чем сам по себе ИБП с двойным преобразованием. Другая особенность: преобразователь частоты должен иметь мощность, соответствующую максимальному возможному току нагрузки, включая все стартовые и аварийные забросы, ведь у преобразователя частоты нет статического байпаса, на который система могла бы переключиться при перегрузке.

Для изготовления преобразователя частоты из трехфазного ИБП нужно разорвать цепь синхронизации, убрать статический байпас (или, вернее, не заказывать его при поставке) и настроить инвертор ИБП на работу на частоте 60 Гц. Для большинства трехфазных ИБП это не представляет проблемы, и преобразователь частоты может быть заказан просто при поставке.

ИБП с горячим резервированием

В некоторых случаях надежности даже самых лучших ИБП недостаточно. Так бывает, когда сбои питания просто недопустимы из-за необратимых последствий или очень больших потерь. Обычно в таких случаях в технике применяют дублирование или многократное резервирование блоков, от которых зависит надежность системы. Есть такая возможность и для трехфазных источников бесперебойного питания. Даже если в конструкцию ИБП стандартно не заложено резервирование узлов, большинство трехфазных ИБП допускают резервирование на более высоком уровне. Резервируется целиком ИБП. Простейшим случаем резервирования ИБП является использование двух обычных серийных ИБП в схеме, в которой один ИБП подключен к входу байпаса другого ИБП.

Рис. 19а. Последовательное соединение двух трехфазных ИБП

На рисунке 19а приведена схема двух последовательно соединенным трехфазных ИБП. Для упрощения на рисунке приведена, так называемая, однолинейная схема, на которой трем проводам трехфазной системы переменного тока соответствует одна линия. Однолинейные схемы часто применяются в случаях, когда особенности трехфазной сети не накладывают отпечаток на свойства рассматриваемого прибора. Оба ИБП постоянно работают. Основной ИБП питает нагрузку, а вспомогательный ИБП работает на холостом ходу. В случае выхода из строя основного ИБП, нагрузка питается не от статического байпаса, как в обычном ИБП, а от вспомогательного ИБП. Только при выходе из строя второго ИБП, нагрузка переключается на работу от статического байпаса.

Система из двух последовательно соединенных ИБП может работать на шести основных режимах.

А. Нормальная работа. Выпрямители 1 и 2 питают инверторы 1 и 2 и, при необходимости заряжают батареи 1 и 2. Инвертор 1 подключен к нагрузке (статический выключатель инвертора 1 замкнут) и питает ее стабилизированным и защищенным от сбоев напряжением. Инвертор 2 работает на холостом ходу и готов "подхватить" нагрузку, если инвертор 1 выйдет из строя. Оба статических выключателя байпаса разомкнуты.

Для обычного ИБП с двойным преобразованием на режиме работы от сети допустим (при сохранении гарантированного питания) только один сбой в системе. Этим сбоем может быть либо выход из строя элемента ИБП (например инвертора) или сбой электрической сети.

Для двух последовательно соединенных ИБП с на этом режиме работы допустимы два сбоя в системе: выход из строя какого-либо элемента основного ИБП и сбой электрической сети. Даже при последовательном или одновременном возникновении двух сбоев питание нагрузки будет продолжаться от источника гарантированного питания.

Б. Работа от батареи 1. Выпрямитель 1 не может питать инвертор и батарею. Чаще всего это происходит из-за отключения напряжения в электрической сети, но причиной может быть и выход из строя выпрямителя. Состояние инвертора 2 в этом случае зависит от работы выпрямителя 2. Если выпрямитель 2 работает (например он подключен к другой электрической сети или он исправен, в отличие от выпрямителя 1), то инвертор 2 также может работать, но работать на холостом ходу, т.к. он "не знает", что с первым ИБП системы что-то случилось. После исчерпания заряда батареи 1, инвертор 1 отключится и система постарается найти другой источник электроснабжения нагрузки. Им, вероятно, окажется инвертор2. Тогда система перейдет к другому режиму работы.

Если в основном ИБП возникает еще одна неисправность, или батарея 1 полностью разряжается, то система переключается на работу от вспомогательного ИБП.

Таким образом даже при двух сбоях: неисправности основного ИБП и сбое сети нагрузка продолжает питаться от источника гарантированного питания.

В. Работа от инвертора 2. В этом случае инвертор 1 не работает (из-за выхода из строя или полного разряда батареи1). СВИ1 разомкнут, СВБ1 замкнут, СВИ2 замкнут и инвертор 2 питает нагрузку. Выпрямитель 2, если в сети есть напряжение, а сам выпрямитель исправен, питает инвертор и батарею.

На этом режиме работы допустим один сбой в системе: сбой электрической сети. При возникновении второго сбоя в системе (выходе из строя какого-либо элемента вспомогательного ИБП) электропитание нагрузки не прерывается, но нагрузка питается уже не от источника гарантированного питания, а через статический байпас, т.е. попросту от сети.

Г. Работа от батареи 2. Наиболее часто такая ситуация может возникнуть после отключения напряжения в сети и полного разряда батареи 1. Можно придумать и более экзотическую последовательность событий. Но в любом случае, инвертор 2 питает нагругку, питаясь, в свою очередь, от батареи. Инвертор 1 в этом случае отключен. Выпрямитель 1, скорее всего, тоже не работает (хотя он может работать, если он исправен и в сети есть напряжение).

После разряда батареи 2 система переключится на работу от статического байпаса (если в сети есть нормальное напряжение) или обесточит нагрузку.

Д. Работа через статический байпас. В случае выхода из строя обоих инверторов, статические переключатели СВИ1 и СВИ2 размыкаются, а статические переключатели СВБ1 и СВБ2 замыкаются. Нагрузка начинает питаться от электрической сети.

Переход системы к работе через статический байпас происходит при перегрузке системы, полном разряде всех батарей или в случае выхода из строя двух инверторов.

На этом режиме работы выпрямители, если они исправны, подзаряжают батареи. Инверторы не работают. Нагрузка питается через статический байпас.

Переключение системы на работу через статический байпас происходит без прерывания питания нагрузки: при необходимости переключения сначала замыкается тиристорный переключатель статического байпаса, и только затем размыкается тиристорный переключатель на выходе того инвертора, от которого нагрузка питалась перед переключением.

Е. Ручной (сервисный) байпас. Если ИБП вышел из строя, а ответственную нагрузку нельзя обесточить, то оба ИБП системы с соблюдением специальной процедуры (которая обеспечивает безразрыное переключение) переключают на ручной байпас. после этого можно производить ремонт ИБП.

Преимуществом рассмотренной системы с последовательным соединением двух ИБП является простота. Не нужны никакие дополнительные элементы, каждый из ИБП работает в своем штатном режиме. С точки зрения надежности, эта схема совсем не плоха:- в ней нет никакой лишней, (связанной с резервированием) электроники, соответственно и меньше узлов, которые могут выйти из строя.

Однако у такого соединения ИБП есть и недостатки. Вот некоторые из них.
 

1. Покупая такую систему, вы покупаете второй байпас (на нашей схеме – он первый – СВБ1), который, вообще говоря, не нужен – ведь все необходимые переключения могут быть произведены и без него.
2. Весь второй ИБП выполняет только одну функцию – резервирование. Он потребляет электроэнергию, работая на холостом ходу и вообще не делает ничего полезного (разумеется за исключением того времени, когда первый ИБП отказывается питать нагрузку). Некоторые производители предлагают "готовые" системы ИБП с горячим резервированием. Это значит, что вы покупаете систему, специально (еще на заводе) испытанную в режиме с горячим резервированием. Схема такой системы приведена на рис. 19б.

Рис.19б. Трехфазный ИБП с горячим резервированием

Принципиальных отличий от схемы с последовательным соединением ИБП немного.

1. У второго ИБП отсутствует байпас.
2. Для синхронизации между инвертором 2 и байпасом появляется специальный информационный кабель между ИБП (на рисунке не показан). Поэтому такой ИБП с горячим резервированием может работать на тех же шести режимах работы, что и система с последовательным подключением двух ИБП. Преимущество "готового" ИБП с резервированием, пожалуй только одно – он испытан на заводе-производителе в той же комплектации, в которой будет эксплуатироваться.

Для расмотренных схем с резервированием иногда применяют одно важное упрощение системы. Ведь можно отказаться от резервирования аккумуляторной батареи, сохранив резервирование всей силовой электроники. В этом случае оба ИБП будут работать от одной батареи (оба выпрямителя будут ее заряжать, а оба инвертора питаться от нее в случае сбоя электрической сети). Применение схемы с общей бетареей позволяет сэкономить значительную сумму – стоимость батареи.

Недостатков у схемы с общей батареей много:

1. Не все ИБП могут работать с общей батареей.
2. Батарея, как и другие элементы ИБП обладает конечной надежностью. Выход из строя одного аккумулятора или потеря контакта в одном соединении могут сделать всю системы ИБП с горячим резервирование бесполезной.
3. В случае выхода из строя одного выпрямителя, общая батарея может быть выведена из строя. Этот последний недостаток, на мой взгляд, является решающим для общей рекомендации – не применять схемы с общей батареей.

Параллельная работа нескольких ИБП

Как вы могли заметить, в случае горячего резервирования, ИБП резервируется не целиком. Байпас остается общим для обоих ИБП. Существует другая возможность резервирования на уровне ИБП – параллельная работа нескольких ИБП. Входы и выходы нескольких ИБП подключаются к общим входным и выходным шинам. Каждый ИБП сохраняет все свои элементы (иногда кроме сервисного байпаса). Поэтому выход из строя статического байпаса для такой системы просто мелкая неприятность.

На рисунке 20 приведена схема параллельной работы нескольких ИБП.

Рис.20. Параллельная работа ИБП

На рисунке приведена схема параллельной системы с раздельными сервисными байпасами. Схема система с общим байпасом вполне ясна и без чертежа. Ее особенностью является то, что для переключения системы в целом на сервисный байпас нужно управлять одним переключателем вместо нескольких. На рисунке предполагается, что между ИБП 1 и ИБП N Могут располагаться другие ИБП. Разные производителю (и для разных моделей) устанавливают свои максимальные количества параллеьно работающих ИБП. Насколько мне известно, эта величина изменяется от 2 до 8. Все ИБП параллельной системы работают на общую нагрузку. Суммарная мощность параллельной системы равна произведению мощности одного ИБП на количество ИБП в системе. Таким образом параллельная работа нескольких ИБП может применяться (и в основном применяется) не столько для увеличения надежности системы бесперебойного питания, но для увеличения ее мощности.

Рассмотрим режимы работы параллельной системы

Нормальная работа (работа от сети). Надежность

Когда в сети есть напряжение, достаточное для нормальной работы, выпрямители всех ИБП преобразуют переменное напряжение сети в постоянное, заряжая батареи и питая инверторы.

Инверторы, в свою очередь, преобразуют постоянное напряжение в переменное и питают нагрузку. Специальная управляющая электроника параллельной системы следит за равномерным распределением нагрузки между ИБП. В некоторых ИБП распределение нагрузки между ИБП производится без использования специальной параллельной электроники. Такие приборы выпускаются "готовыми к параллельной работе", и для использования их в параллельной системе достаточно установить плату синхронизации. Есть и ИБП, работающие параллельго без специальной электроники. В таком случае количество параллельно работающих ИБП – не более двух. В рассматриваемом режиме работы в системе допустимо несколько сбоев. Их количество зависит от числа ИБП в системе и действующей нагрузки.

Пусть в системе 3 ИБП мощностью по 100 кВА, а нагрузка равна 90 кВА. При таком соотношении числа ИБП и их мощностей в системе допустимы следующие сбои.

Сбой питания (исчезновение напряжения в сети)

Выход из строя любого из инверторов, скажем для определенности, инвертора 1. Нагрузка распределяется между двумя другими ИБП. Если в сети есть напряжение, все выпрямители системы работают.

Выход из строя инвертора 2. Нагрузка питается от инвертора 3, поскольку мощность, потребляемая нагрузкой меньше мощности одного ИБП. Если в сети есть напряжение, все выпрямители системы продолжают работать.

Выход из строя инвертора 3. Система переключается на работу через статический байпас. Нагрузка питается напрямую от сети. При наличии в сети нормального напряжения, все выпрямители работают и продолжают заряжать батареи. При любом последующем сбое (поломке статического байпаса или сбое сети) питание нагрузки прекращается. Для того, чтобы параллельная система допускала большое число сбоев, система должна быть сильно недогружена и должна включать большое число ИБП. Например, если нагрузка в приведенном выше примере будет составлять 250 кВА, то система допускает только один сбой: сбой сети или поломку инвертора. В отношении количества допустимых сбоев такая система эквивалентна одиночному ИБП. Это, кстати, не значит, что надежность такой параллельной системы будет такая же, как у одиночного ИБП. Она будет ниже, поскольку параллельная система намного сложнее одиночного ИБП и (при почти предельной нагрузке) не имеет дополнительного резервирования, компенсирующего эту сложность.

Вопрос надежности параллельной системы ИБП не может быть решен однозначно. Надежность зависит от большого числа параметров: количества ИБП в системе (причем увеличение количества ИБП до бесконечности снижает надежность – система становится слишком сложной и сложно управляемой – впрочем максимальное количество параллельно работающих модулей для известных мне ИБП не превышает 8), нагрузки системы (т.е. соотношения номинальной суммарной мощности системы и действующей нагрузки), примененной схемы параллельной работы (т.е. есть ли в системе специальная электроника для обеспечения распределения нагрузки по ИБП), технологии работы предприятия. Таким образом, если единственной целью является увеличение надежности системы, то следует серьезно рассмотреть возможность использование ИБП с горячим резервированием – его надежность не зависит от обстоятельств и в силу относительной простоты схемы практически всегда выше надежности параллельной системы.

Недогруженная система из нескольких параллельно работающих ИБП, которая способна реализвать описанную выше логику управления, часто также называется параллельной системой с резервированием.

Работа с частичной нагрузкой

Если нагрузка параллельной системы такова, что с ней может справиться меньшее, чем есть в системе количество ИБП, то инверторы "лишних" ИБП могут быть отключены. В некоторых ИБП такая логика управления подразумевается по умолчанию, а другие модели вообще лишены возможности работы в таком режиме. Инверторы, оставшиеся включенными, питают нагрузку. Коэффициент полезного действия системы при этом несколько возрастает. Обычно в этом режиме работы предусматривается некоторая избыточность, т.е. количестов работающих инверторов больше, чем необходимо для питания нагрузки. Тем самым обеспечивается резервирование. Все выпрямители системы продолжают работать, включая выпрямители тех ИБП, инверторы которых отключены.

Работа от батареи

В случае исчезновения напряжения в электрической сети, параллельная система переходит на работу от батареи. Все выпрямители системы не работают, инверторы питают нагрузку, получая энергию от батареи. В этом режиме работы (естественно) отсутствует напряжение в электрической сети, которое при нормальной работе было для ИБП не только источником энергии, но и источником сигнала синхронизации выходного напряжения. Поэтому функцию синхронизации берет на себя специальная параллельная электроника или выходная цепь ИБП, специально ориентированная на поддержание выходной частоты и фазы в соответствии с частотой и фазой выходного напряжения параллельно работающего ИБП.

Выход из строя выпрямителя

Это режим, при котором вышли из строя один или несколько выпрямителей. ИБП, выпрямители которых вышли из строя, продолжают питать нагрузку, расходуя заряд своей батареи. Они выдает сигнал "неисправность выпрямителя". Остальные ИБП продолжают работать нормально. После того, как заряд разряжающихся батарей будет полностью исчерпан, все зависит от соотношения мощности нагрузки и суммарной мощности ИБП с исправными выпрямителями. Если нагрузка не превышает перегрузочной способности этих ИБП, то питание нагрузки продолжится (если у системы остался значительный запас мощности, то в этом режиме работы допустимо еще несколько сбоев системы). В случае, если нагрузка ИБП превышает перегрузочную способность оставшихся ИБП, то система переходит к режиму работы через статический байпас.

Выход из строя инвертора

Если оставшиеся в работоспособном состоянии инверторы могут питать нагрузку, то нагрузка продолжает работать, питаясь от них. Если мощности работоспособных инверторов недостаточно, система переходит в режим работы от статического байпаса. Выпрямители всех ИБП могут заряжать батареи, или ИБП с неисправными инверторами могут быть полностью отключены для выполнения ремонта.

Работа от статического байпаса

Если суммарной мощности всех исправных инверторов параллельной системы не достаточно для поддержания работы нагрузки, система переходит к работе через статический байпас. Статические переключатели всех инверторов разомкнуты (исправные инверторы могут продолжать работать). Если нагрузка уменьшается, например в результате отключения части оборудования, параллельная система автоматически переключается на нормальный режим работы.

В случае одиночного ИБП с двойным преобразованием работа через статический байпас является практически последней возможностью поддержания работы нагрузки. В самом деле, ведь достаточно выхода из строя статического переключателя, и нагрузка будет обесточена. При работе параллельной системы через статический байпас допустимо некоторое количество сбоев системы. Статический байпас способен выдерживать намного больший ток, чем инвертор. Поэтому даже в случае выхода из строя одного или нескольких статических переключателей, нагрузка возможно не будет обесточена, если суммарный допустимый ток оставшихся работоспособными статических переключателей окажется достаточен для работы. Конкретное количество допустимых сбоев системы в этом режиме работы зависит от числа ИБП в системе, допустимого тока статического переключателя и величины нагрузки.

Сервисный байпас

Если нужно провести с параллельной системой ремонтные или регламентные работы, то система может быть отключена от нагрузки с помощью ручного переключателя сервисного байпаса. Нагрузка питается от сети, все элементы параллельной системы ИБП, кроме батарей, обесточены. Как и в случае системы с горячим резервированием, возможен вариант одного общего внешнего сервисного байпаса или нескольких сервисных байпасов, встроенных в отдельные ИБП. В последнем случае при использовании сервисного байпаса нужно иметь в виду соотношение номинального тока сервисного байпаса и действующей мощности нагрузки. Другими словами, нужно включить столько сервисных байпасов, чтобы нагрузка не превышала их суммарный номинальных ток.
[ http://www.ask-r.ru/info/library/ups_without_secret_7.htm]

Тематики

• источники и системы электропитания

EN

• three-phase UPS

технология коммутации
-
[Интент]

Современные технологии коммутации
[ http://www.xnets.ru/plugins/content/content.php?content.84]

Статья подготовлена на основании материалов опубликованных в журналах "LAN", "Сети и системы связи", в книге В.Олифер и Н.Олифер "Новые технологии и оборудование IP-сетей", на сайтах www.citforum.ru и опубликована в журнале "Компьютерные решения" NN4-6 за 2000 год.

• Введение
• Коммутация первого уровня.
• Коммутация второго уровня.
• Коммутация третьего уровня.
• Коммутация четвертого уровня.
• Критерии выбора оборудования, физическая и логическая структура сети
• Качество обслуживания (QoS) и принципы задания приоритетов
• Заключение

Введение

На сегодня практически все организации, имеющие локальные сети, остановили свой выбор на сетях типа Ethernet. Данный выбор оправдан тем, что начало внедрения такой сети сопряжено с низкой стоимостью и простотой реализации, а развитие - с хорошей масштабируемостью и экономичностью.

Бросив взгляд назад - увидим, что развитие активного оборудования сетей шло в соответствии с требованиями к полосе пропускания и надежности. Требования, предъявляемые к большей надежности, привели к отказу от применения в качестве среды передачи коаксиального кабеля и перевода сетей на витую пару. В результате такого перехода отказ работы соединения между одной из рабочих станций и концентратором перестал сказываться на работе других рабочих станций сети. Но увеличения производительности данный переход не принес, так как концентраторы используют разделяемую (на всех пользователей в сегменте) полосу пропускания. По сути, изменилась только физическая топология сети - с общей шины на звезду, а логическая топология по-прежнему осталась - общей шиной.

Дальнейшее развитие сетей шло по нескольким путям:

• увеличение скорости,
• внедрение сегментирования на основе коммутации,
• объединение сетей при помощи маршрутизации.

Увеличение скорости при прежней логической топологии - общая шина, привело к незначительному росту производительности в случае большого числа портов.

Большую эффективность в работе сети принесло сегментирование сетей с использованием технология коммутации пакетов. Коммутация наиболее действенна в следующих вариантах:

Вариант 1, именуемый связью "многие со многими" – это одноранговые сети, когда одновременно существуют потоки данных между парами рабочих станций. При этом предпочтительнее иметь коммутатор, у которого все порты имеют одинаковую скорость, (см. Рисунок 1).

Вариант 2, именуемый связью "один со многими" – это сети клиент-сервер, когда все рабочие станции работают с файлами или базой данных сервера. В данном случае предпочтительнее иметь коммутатор, у которого порты для подключения рабочих станций имеют одинаковую небольшую скорость, а порт, к которому подключается сервер, имеет большую скорость,(см. Рисунок 2).

Когда компании начали связывать разрозненные системы друг с другом, маршрутизация обеспечивала максимально возможную целостность и надежность передачи трафика из одной сети в другую. Но с ростом размера и сложности сети, а также в связи со все более широким применением коммутаторов в локальных сетях, базовые маршрутизаторы (зачастую они получали все данные, посылаемые коммутаторами) стали с трудом справляться со своими задачами.

Проблемы с трафиком, связанные с маршрутизацией, проявляются наиболее остро в средних и крупных компаниях, а также в деятельности операторов Internet, так как они вынуждены иметь дело с большими объемами IP-трафика, причем этот трафик должен передаваться своевременно и эффективно.

С подключением настольных систем непосредственно к коммутаторам на 10/100 Мбит/с между ними и магистралью оказывается все меньше промежуточных устройств. Чем выше скорость подключения настольных систем, тем более скоростной должна быть магистраль. Кроме того, на каждом уровне устройства должны справляться с приходящим трафиком, иначе возникновения заторов не избежать.

Рассмотрению технологий коммутации и посвящена данная статья.

Коммутация первого уровня

Термин "коммутация первого уровня" в современной технической литературе практически не описывается. Для начала дадим определение, с какими характеристиками имеет дело физический или первый уровень модели OSI:

физический уровень определяет электротехнические, механические, процедурные и функциональные характеристики активации, поддержания и дезактивации физического канала между конечными системами. Спецификации физического уровня определяют такие характеристики, как уровни напряжений, синхронизацию изменения напряжений, скорость передачи физической информации, максимальные расстояния передачи информации, физические соединители и другие аналогичные характеристики.

Смысл коммутации на первом уровне модели OSI означает физическое (по названию уровня) соединение. Из примеров коммутации первого уровня можно привести релейные коммутаторы некоторых старых телефонных и селекторных систем. В более новых телефонных системах коммутация первого уровня применяется совместно с различными способами сигнализации вызовов и усиления сигналов. В сетях передачи данных данная технология применяется в полностью оптических коммутаторах.

Коммутация второго уровня

Рассматривая свойства второго уровня модели OSI и его классическое определение, увидим, что данному уровню принадлежит основная доля коммутирующих свойств.

Определение. Канальный уровень (формально называемый информационно-канальным уровнем) обеспечивает надежный транзит данных через физический канал. Канальный уровень решает вопросы физической адресации (в противоположность сетевой или логической адресации), топологии сети, линейной дисциплины (каким образом конечной системе использовать сетевой канал), уведомления о неисправностях, упорядоченной доставки блоков данных и управления потоком информации.

На самом деле, определяемая канальным уровнем модели OSI функциональность служит платформой для некоторых из сегодняшних наиболее эффективных технологий. Большое значение функциональности второго уровня подчеркивает тот факт, что производители оборудования продолжают вкладывать значительные средства в разработку устройств с такими функциями.

С технологической точки зрения, коммутатор локальных сетей представляет собой устройство, основное назначение которого - максимальное ускорение передачи данных за счет параллельно существующих потоков между узлами сети. В этом - его главное отличие от других традиционных устройств локальных сетей – концентраторов (Hub), предоставляющих всем потокам данных сети всего один канал передачи данных.

Коммутатор позволяет передавать параллельно несколько потоков данных c максимально возможной для каждого потока скоростью. Эта скорость ограничена физической спецификацией протокола, которую также часто называют "скоростью провода". Это возможно благодаря наличию в коммутаторе большого числа центров обработки и продвижения кадров и шин передачи данных.

Коммутаторы локальных сетей в своем основном варианте, ставшем классическим уже с начала 90-х годов, работают на втором уровне модели OSI, применяя свою высокопроизводительную параллельную архитектуру для продвижения кадров канальных протоколов. Другими словами, ими выполняются алгоритмы работы моста, описанные в стандартах IEEE 802.1D и 802.1H. Также они имеют и много других дополнительных функций, часть которых вошла в новую редакцию стандарта 802.1D-1998, а часть остается пока не стандартизованной.

Коммутаторы ЛВС отличаются большим разнообразием возможностей и, следовательно, цен - стоимость 1 порта колеблется в диапазоне от 50 до 1000 долларов. Одной из причин столь больших различий является то, что они предназначены для решения различных классов задач. Коммутаторы высокого класса должны обеспечивать высокую производительность и плотность портов, а также поддерживать широкий спектр функций управления. Простые и дешевые коммутаторы имеют обычно небольшое число портов и не способны поддерживать функции управления. Одним из основных различий является используемая в коммутаторе архитектура. Поскольку большинство современных коммутаторов работают на основе патентованных контроллеров ASIC, устройство этих микросхем и их интеграция с остальными модулями коммутатора (включая буферы ввода-вывода) играет важнейшую роль. Контроллеры ASIC для коммутаторов ЛВС делятся на 2 класса - большие ASIC, способные обслуживать множество коммутируемых портов (один контроллер на устройство) и небольшие ASIC, обслуживающие по несколько портов и объединяемые в матрицы коммутации.

Существует 3 варианта архитектуры коммутаторов:
 

• переключение (cross-bar) с буферизацией на входе,
• самомаршрутизация (self-route) с разделяемой памятью
• высокоскоростная шина.

На рисунке 3 показана блок-схема коммутатора с архитектурой, используемой для поочередного соединения пар портов. В любой момент такой коммутатор может обеспечить организацию только одного соединения (пара портов). При невысоком уровне трафика не требуется хранение данных в памяти перед отправкой в порт назначения - такой вариант называется коммутацией на лету cut-through. Однако, коммутаторы cross-bar требуют буферизации на входе от каждого порта, поскольку в случае использования единственно возможного соединения коммутатор блокируется (рисунок 4). Несмотря на малую стоимость и высокую скорость продвижения на рынок, коммутаторы класса cross-bar слишком примитивны для эффективной трансляции между низкоскоростными интерфейсами Ethernet или token ring и высокоскоростными портами ATM и FDDI.

Коммутаторы с разделяемой памятью имеют общий входной буфер для всех портов, используемый как внутренняя магистраль устройства (backplane). Буферизагия данных перед их рассылкой (store-and-forward - сохранить и переслать) приводит к возникновению задержки. Однако, коммутаторы с разделяемой памятью, как показано на рисунке 5 не требуют организации специальной внутренней магистрали для передачи данных между портами, что обеспечивает им более низкую цену по сравнению с коммутаторами на базе высокоскоростной внутренней шины.

На рисунке 6 показана блок-схема коммутатора с высокоскоростной шиной, связывающей контроллеры ASIC. После того, как данные преобразуются в приемлемый для передачи по шине формат, они помещаются на шину и далее передаются в порт назначения. Поскольку шина может обеспечивать одновременную (паралельную) передачу потока данных от всех портов, такие коммутаторы часто называют "неблокируемыми" (non-blocking) - они не создают пробок на пути передачи данных.

Применение аналогичной параллельной архитектуры для продвижения пакетов сетевых протоколов привело к появлению коммутаторов третьего уровня модели OSI.

Коммутация третьего уровня

В продолжении темы о технологиях коммутации рассмотренных в предыдущем номера повторим, что применение параллельной архитектуры для продвижения пакетов сетевых протоколов привело к появлению коммутаторов третьего уровня. Это позволило существенно, в 10-100 раз повысить скорость маршрутизации по сравнению с традиционными маршрутизаторами, в которых один центральный универсальный процессор выполняет программное обеспечение маршрутизации.

По определению Сетевой уровень (третий) - это комплексный уровень, который обеспечивает возможность соединения и выбор маршрута между двумя конечными системами, подключенными к разным "подсетям", которые могут находиться в разных географических пунктах. В данном случае "подсеть" это, по сути, независимый сетевой кабель (иногда называемый сегментом).

Коммутация на третьем уровне - это аппаратная маршрутизация. Традиционные маршрутизаторы реализуют свои функции с помощью программно-управляемых процессоров, что будем называть программной маршрутизацией. Традиционные маршрутизаторы обычно продвигают пакеты со скоростью около 500000 пакетов в секунду. Коммутаторы третьего уровня сегодня работают со скоростью до 50 миллионов пакетов в секунду. Возможно и дальнейшее ее повышение, так как каждый интерфейсный модуль, как и в коммутаторе второго уровня, оснащен собственным процессором продвижения пакетов на основе ASIC. Так что наращивание количества модулей ведет к наращиванию производительности маршрутизации. Использование высокоскоростной технологии больших заказных интегральных схем (ASIC) является главной характеристикой, отличающей коммутаторы третьего уровня от традиционных маршрутизаторов. Коммутаторы 3-го уровня делятся на две категории: пакетные (Packet-by-Packet Layer 3 Switches, PPL3) и сквозные (Cut-Through Layer 3 Switches, CTL3). PPL3 - означает просто быструю маршрутизацию (Рисунок_7). CTL3 – маршрутизацию первого пакета и коммутацию всех остальных (Рисунок 8).

У коммутатора третьего уровня, кроме реализации функций маршрутизации в специализированных интегральных схемах, имеется несколько особенностей, отличающих их от традиционных маршрутизаторов. Эти особенности отражают ориентацию коммутаторов 3-го уровня на работу, в основном, в локальных сетях, а также последствия совмещения в одном устройстве коммутации на 2-м и 3-м уровнях:
 

• поддержка интерфейсов и протоколов, применяемых в локальных сетях,
• усеченные функции маршрутизации,
• обязательная поддержка механизма виртуальных сетей,
• тесная интеграция функций коммутации и маршрутизации, наличие удобных для администратора операций по заданию маршрутизации между виртуальными сетями.

Наиболее "коммутаторная" версия высокоскоростной маршрутизации выглядит следующим образом (рисунок 9). Пусть коммутатор третьего уровня построен так, что в нем имеется информация о соответствии сетевых адресов (например, IP-адресов) адресам физического уровня (например, MAC-адресам) Все эти МАС-адреса обычным образом отображены в коммутационной таблице, независимо от того, принадлежат ли они данной сети или другим сетям.

Первый коммутатор, на который поступает пакет, частично выполняет функции маршрутизатора, а именно, функции фильтрации, обеспечивающие безопасность. Он решает, пропускать или нет данный пакет в другую сеть Если пакет пропускать нужно, то коммутатор по IP-адресу назначения определяет МАС-адрес узла назначения и формирует новый заголовок второго уровня с найденным МАС-адресом. Затем выполняется обычная процедура коммутации по данному МАС-адресу с просмотром адресной таблицы коммутатора. Все последующие коммутаторы, построенные по этому же принципу, обрабатывают данный кадр как обычные коммутаторы второго уровня, не привлекая функций маршрутизации, что значительно ускоряет его обработку. Однако функции маршрутизации не являются для них избыточными, поскольку и на эти коммутаторы могут поступать первичные пакеты (непосредственно от рабочих станций), для которых необходимо выполнять фильтрацию и подстановку МАС-адресов.

Это описание носит схематический характер и не раскрывает способов решения возникающих при этом многочисленных проблем, например, проблемы построения таблицы соответствия IP-адресов и МАС-адресов

Примерами коммутаторов третьего уровня, работающих по этой схеме, являются коммутаторы SmartSwitch компании Cabletron. Компания Cabletron реализовала в них свой протокол ускоренной маршрутизации SecureFast Virtual Network, SFVN.

Для организации непосредственного взаимодействия рабочих станций без промежуточного маршрутизатора необходимо сконфигурировать каждую из них так, чтобы она считала собственный интерфейс маршрутизатором по умолчанию. При такой конфигурации станция пытается самостоятельно отправить любой пакет конечному узлу, даже если этот узел находится в другой сети. Так как в общем случае (см. рисунок 10) станции неизвестен МАС-адрес узла назначения, то она генерирует соответствующий ARP-запрос, который перехватывает коммутатор, поддерживающий протокол SFVN. В сети предполагается наличие сервера SFVN Server, являющегося полноценным маршрутизатором и поддерживающего общую ARP-таблицу всех узлов SFVN-сети. Сервер возвращает коммутатору МАС-адрес узла назначения, а коммутатор, в свою очередь, передает его исходной станции. Одновременно сервер SFVN передает коммутаторам сети инструкции о разрешении прохождения пакета с МАС-адресом узла назначения через границы виртуальных сетей. Затем исходная станция передает пакет в кадре, содержащем МАС-адрес узла назначения. Этот кадр проходит через коммутаторы, не вызывая обращения к их блокам маршрутизации. Отличие протокола SFVN компании Cabletron от - описанной выше общей схемы в том, что для нахождения МАС-адреса по IP-адресу в сети используется выделенный сервер.

Протокол Fast IP компании 3Com является еще одним примером реализации подхода с отображением IP-адреса на МАС-адрес. В этом протоколе основными действующими лицами являются сетевые адаптеры (что не удивительно, так как компания 3Com является признанным лидером в производстве сетевых адаптеров Ethernet) С одной стороны, такой подход требует изменения программного обеспечения драйверов сетевых адаптеров, и это минус Но зато не требуется изменять все остальное сетевое оборудование.

При необходимости передать пакет узлу назначения другой сети, исходный узел в соответствии с технологией Fast IP должен передать запрос по протоколу NHRP (Next Hop Routing Protocol) маршрутизатору сети. Маршрутизатор переправляет этот запрос узлу назначения, как обычный пакет Узел назначения, который также поддерживает Fast IP и NHRP, получив запрос, отвечает кадром, отсылаемым уже не маршрутизатору, а непосредственно узлу-источнику (по его МАС-адресу, содержащемуся в NHRP-запросе). После этого обмен идет на канальном уровне на основе известных МАС-адресов. Таким образом, снова маршрутизировался только первый пакет потока (как на рисунке 9 кратковременный поток), а все остальные коммутировались (как на рисунке 9 долговременный поток).

Еще один тип коммутаторов третьего уровня — это коммутаторы, работающие с протоколами локальных сетей типа Ethernet и FDDI. Эти коммутаторы выполняют функции маршрутизации не так, как классические маршрутизаторы. Они маршрутизируют не отдельные пакеты, а потоки пакетов.

Поток — это последовательность пакетов, имеющих некоторые общие свойства. По меньшей мере, у них должны совпадать адрес отправителя и адрес получателя, и тогда их можно отправлять по одному и тому же маршруту. Если классический способ маршрутизации использовать только для первого пакета потока, а все остальные обрабатывать на основании опыта первого (или нескольких первых) пакетов, то можно значительно ускорить маршрутизацию всего потока.

Рассмотрим этот подход на примере технологии NetFlow компании Cisco, реализованной в ее маршрутизаторах и коммутаторах. Для каждого пакета, поступающего на порт маршрутизатора, вычисляется хэш-функция от IP-адресов источника, назначения, портов UDP или TCP и поля TOS, характеризующего требуемое качество обслуживания. Во всех маршрутизаторах, поддерживающих данную технологию, через которые проходит данный пакет, в кэш-памяти портов запоминается соответствие значения хэш-функции и адресной информации, необходимой для быстрой передачи пакета следующему маршрутизатору. Таким образом, образуется квазивиртуальный канал (см. Рисунок 11), который позволяет быстро передавать по сети маршрутизаторов все последующие пакеты этого потока. При этом ускорение достигается за счет упрощения процедуры обработки пакета маршрутизатором - не просматриваются таблицы маршрутизации, не выполняются ARP-запросы.

Этот прием может использоваться в маршрутизаторах, вообще не поддерживающих коммутацию, а может быть перенесен в коммутаторы. В этом случае такие коммутаторы тоже называют коммутаторами третьего уровня. Примеров маршрутизаторов, использующих данный подход, являются маршрутизаторы Cisco 7500, а коммутаторов третьего уровня — коммутаторы Catalyst 5000 и 5500. Коммутаторы Catalyst выполняют усеченные функции описанной схемы, они не могут обрабатывать первые пакеты потоков и создавать новые записи о хэш-функциях и адресной информации потоков. Они просто получают данную информацию от маршрутизаторов 7500 и обрабатывают пакеты уже распознанных маршрутизаторами потоков.

Выше был рассмотрен способ ускоренной маршрутизации, основанный на концепции потока. Его сущность заключается в создании квазивиртуальных каналов в сетях, которые не поддерживают виртуальные каналы в обычном понимании этого термина, то есть сетях Ethernet, FDDI, Token Ring и т п. Следует отличать этот способ от способа ускоренной работы маршрутизаторов в сетях, поддерживающих технологию виртуальных каналов — АТМ, frame relay, X 25. В таких сетях создание виртуального канала является штатным режимом работы сетевых устройств. Виртуальные каналы создаются между двумя конечными точками, причем для потоков данных, требующих разного качества обслуживания (например, для данных разных приложений) может создаваться отдельный виртуальный канал. Хотя время создания виртуального канала существенно превышает время маршрутизации одного пакета, выигрыш достигается за счет последующей быстрой передачи потока данных по виртуальному каналу. Но в таких сетях возникает другая проблема — неэффективная передача коротких потоков, то есть потоков, состоящих из небольшого количества пакетов (классический пример — пакеты протокола DNS).

Накладные расходы, связанные с созданием виртуального канала, приходящиеся на один пакет, снижаются при передаче объемных потоков данных. Однако они становятся неприемлемо высокими при передаче коротких потоков. Для того чтобы эффективно передавать короткие потоки, предлагается следующий вариант, при передаче нескольких первых пакетов выполняется обычная маршрутизация. Затем, после того как распознается устойчивый поток, для него строится виртуальный канал, и дальнейшая передача данных происходит с высокой скоростью по этому виртуальному каналу. Таким образом, для коротких потоков виртуальный канал вообще не создается, что и повышает эффективность передачи.

По такой схеме работает ставшая уже классической технология IP Switching компании Ipsilon. Для того чтобы сети коммутаторов АТМ передавали бы пакеты коротких потоков без установления виртуального канала, компания Ipsilon предложила встроить во все коммутаторы АТМ блоки IP-маршрутизации (рисунок 12), строящие обычные таблицы маршрутизации по обычным протоколам RIP и OSPF.

Компания Cisco Systems выдвинула в качестве альтернативы технологии IP Switching свою собственную технологию Tag Switching, но она не стала стандартной. В настоящее время IETF работает над стандартным протоколом обмена метками MPLS (Multi-Protocol Label Switching), который обобщает предложение компаний Ipsilon и Cisco, а также вносит некоторые новые детали и механизмы. Этот протокол ориентирован на поддержку качества обслуживания для виртуальных каналов, образованных метками.

Коммутация четвертого уровня

Свойства четвертого или транспортного уровня модели OSI следующие: транспортный уровень обеспечивает услуги по транспортировке данных. В частности, заботой транспортного уровня является решение таких вопросов, как выполнение надежной транспортировки данных через объединенную сеть. Предоставляя надежные услуги, транспортный уровень обеспечивает механизмы для установки, поддержания и упорядоченного завершения действия виртуальных каналов, систем обнаружения и устранения неисправностей транспортировки и управления информационным потоком (с целью предотвращения переполнения данными из другой системы).

Некоторые производители заявляют, что их системы могут работать на втором, третьем и даже четвертом уровнях. Однако рассмотрение описания стека TCP/IP (рисунок 1), а также структуры пакетов IP и TCP (рисунки 2, 3), показывает, что коммутация четвертого уровня является фикцией, так как все относящиеся к коммутации функции осуществляются на уровне не выше третьего. А именно, термин коммутация четвертого уровня с точки зрения описания стека TCP/IP противоречий не имеет, за исключением того, что при коммутации должны указываться адреса компьютера (маршрутизатора) источника и компьютера (маршрутизатора) получателя. Пакеты TCP имеют поля локальный порт отправителя и локальный порт получателя (рисунок 3), несущие смысл точек входа в приложение (в программу), например Telnet с одной стороны, и точки входа (в данном контексте инкапсуляции) в уровень IP. Кроме того, в стеке TCP/IP именно уровень TCP занимается формированием пакетов из потока данных идущих от приложения. Пакеты IP (рисунок 2) имеют поля адреса компьютера (маршрутизатора) источника и компьютера (маршрутизатора) получателя и следовательно могут наряду с MAC адресами использоваться для коммутации. Тем не менее, название прижилось, к тому же практика показывает, что способность системы анализировать информацию прикладного уровня может оказаться полезной — в частности для управления трафиком. Таким образом, термин "зависимый от приложения" более точно отражает функции так называемых коммутаторов четвертого уровня.

Тематики

• сети вычислительные

EN

• switching technology